# 不法行為としての誹謗中傷検出と検出理由の説明可能性の検証

久田祥平 矢田竣太郎 若宮翔子 荒牧英治
奈良先端科学技術大学院大学
\{s-hisada, s-yada, wakamiya, aramaki\}@is.naist.jp

## 概要

オンライン上での誹謗中傷の問題に取り組む自動検出研究において，社会実装の観点で検出理由の説明が求められている. しかし，テキスト生成により説明するアプローチは，説明の論理性に課題があり，社会科学の専門家の介在がなく人間や社会にとって有益な説明を行えているか人手評価が不十分である. 本研究は，裁判例に基づく誹謗中傷デー タセットを用いて，不法行為の観点から，誹謗中傷の分類タスクと，その理由の生成タスクに取り組んだ。そして，生成された理由に，裁判における判断が反映されているか法律の専門家が評価した. 結果として，言語モデルを用いた，裁判例に基づく分類タスクの精度には課題があることや，理由の生成では論理的整合性のある回答を得られるが，モデルの学習データセットに含まれる価値観の影響を受け，法律や裁判での判断と異なる解釈を示す事例多くが確認された. 本研究は, オンライン上の誹謗中傷の自動検出の社会実装において重要な, 法的観点の導入の端緒となる。

本論文では，誹謗中傷の事例を扱う性質上，不快な表現が含まれることにご注意下さい。

## 1 はじめに

オンライン上での誹謗中傷の問題に取り組む自動検出研究において, コンテンツモデレーションの透明化 [1,2] や社会的バイアス [3] の軽減のために，検出理由の説明が重要視される. 人工知能における説明は，機械学習の推論や動作面について人にとって理解しやすい用語で表現 [4] するタスクとして取り組まれている。その中でも，推論面から誹謗中傷検出の説明に取り組む研究 [5] では, 人手による分類における特徴語選択と, 分類モデルにとって重要な特徴量との間の整合性について検証している. 動作

図 1: 研究の概要: 裁判例をもとに，オンライン投稿の不法行為を基準とした誹謗中傷の分類タスクと分類理由の生成タスクに取り組み，法律の専門家による人手評価を行う。

面に着目すると，モデルを分類と同時にその理由説明を生成するように学習する手法 $[6,7]$ がある. これを利用し，誹謗中傷に存在する社会的バイアスやステレオタイプの説明を目指した研究 $[8,9]$ では,差別や中傷発言の含意に対する自由記述コーパスを作成し，テキスト生成により誹謗中傷検出の説明を試みている。

しかし，これらの生成アプローチには，社会実装の観点から課題がある. 具体的には, 誹謗中傷を検出し対処するためには，社会における基準（日本における違法情報 [10] や EU の Digital Services Act [11]）による誹謗中傷検出と, 検出理由の詳細な説明をすべきである．ところが，クラウドソーシングで収集された自由記述コーパスを用いて学習されたモデルの生成文には，説明として論理の飛躍や常識からの隔たりが指摘 [12] されている. 加えて，生成された説明の評価には，人手評価と必ずしも相関しないことが議論 $[13,14]$ されている自動評価 $[8,9,12]$ か，専門的観点が欠けた評価 [15] しか用いられていない，言い換えれば，社会問題にも関わらず社会科学の専門家の介在がなく, 人間・社会の価値観との整合性に関する評価項目の議論や人手評
価が十分でないと考えられる。

本研究は，誹謗中傷による不法行為の分類タスクと，その理由の生成タスクに取り組む。このために，裁判例から作成された誹謗中傷データセットを用いる. 実験により，言語モデルが，不法行為を基準とする誹謗中傷の検出（分類）をどの程度行えるか, 生成された理由がどの程度論理的で, 不法行為の観点に沿った議論を行えているかを法律の専門家が人手で評価する. 以上を通じて，本研究では，法的な観点からの紛争予防，さらには紛争解決に向けた，言語モデルによる判断と説明についての可能性と課題を議論する。

## 2 本研究のアプローチ

## 2.1 誹謗中傷データセット

裁判例には，オンライン上の発言による誹謗中傷が，どのような権利を侵害する不法行為に該当するかの判断が記載されており, 権利侵害の明白性の判断部分で，法律や判例をもとに，権利侵害の内容が論理的に述べられている. 現実の問題に近い誹謗中傷検出のタスク設定にするために，裁判例より作成した誹謗中傷データセット [16] から，各事例の本件投稿記事，文脈，権利の類型ラベルを使用する. 本件投稿記事と文脈を入力テキストとする。なお，入カテキストで匿名化加工されている箇所は，一律に [IDinfo] に変更した. 入力テキストに対するラベルとして, 不法行為としての誹謗中傷によって脅かされる権利の類型より, 名誉権・名誉感情 - 営業権と （その他の）人格権・人格的利益を利用する.

誹謗中傷にどのような問題性があるかを理由として利用するために，各本件投稿記事に対応する裁判例より，裁判所による権利侵害の判断部分で，投稿記事による不法行為を議論している文章を抽出する.この作業により, 1 名のアノテータが，投稿記事，誹謗中傷ラベル，理由の三つ組からなる 516 件のデータセットを作成した. このうち 150 件を 2 名のアノテータが追加検証した結果, 理由抽出のアノテータ 3 者間のペアワイズの一致率の平均は，完全一致率が 0.198 , ジャカード係数 0.674 であった.作成したデータセットのラベル分布は, 名誉権 280 件, 名誉感情 171 件, 人格権・人格的利益 11 件, 営業権 17 件（重複あり）である。

本研究は，オンライン上の誹謗中傷の検出を目的とするため，裁判例に含まれていない，裁判に至ら
ないような発言を含めて判定する必要がある. そこで，検出タスクの現実性を高めるため，誹謗中傷データセットにおいて出現回数が多かったプラットフォームの投稿をネガティブサンプルとして用いることとした．具体的は，Twitter，5ちゃんねる，爆サイ（それぞれ事件数は 46 件， 34 件，27 件）から， それぞれ 450 件， 340 件， 340 件の投稿をランダムサンプリングした. そして, 匿名化された誹謗中傷データセットに合わせるために，GiNZA ライブラリ [17] で固有表現抽出を行い，人名，住所，都市名，組織名に該当するスパンを [IDinfo] に置換した。

## 2.2 GPT-4 による要約

解釈の余地を排除するために，裁判例のテキストには冗長な表現が多用されている。学習モデルの入力制限を考慮し, 裁判例から抜粋した理由の代わりに GPT-4 の要約を学習および評価用の説明として採用する。なお，名誉権の侵害が争われた事例については, 抜粋した理由に裁判で議論されるような違法性阻却事由の存在を補足した。付録 A. 3.1 に要約に用いたプロンプトと名誉権の侵害事例の補足を示す.この結果, 入力テキストは平均 395.8 文字から平均 103.1 文字に短縮された. 表 4 に元の理由の抜粋とその要約を示す. 要約の忠実性に関する人手による評価結果を表 3 に示す. 正確さに課題はあるものの，概ね元の裁判例の抜粋に忠実な要約を実現している.この評価項目については, 生成した分類理由の評価と共に後述（2.4 節）する。

## 2.3 実験設定

本研究では，大規模言語モデルを用いて，4つの誹謗中傷ラベルに対する分類タスクと，分類の理由の生成タスクに取り組む.

このタスクに，2つの Llama2 モデル youri-7binstruction(以下, Youri7B) [18] と Swallow-13b-instructhf(以下, Swallow13B) と GPT モデル llm-jp/llm-jp-13binstruct-full-jaster-dolly-oasst-v1.0(以下, LLMJP13B)を用いる. モデルは PEFT パッケージ [19] の LoRA [20] によりファインチューニングする. ベースラインとして, BERT モデルの cl-tohoku/bert-base-japanese-v3 による線形分類と T5 モデル sonoisa/t5-base-japanese による分類と理由の生成により，分類タスクにおける性能を比較する。評価指標には，Accuracy， Macro-F1と Micro-F1を用いる.
表 1: 誹謗中傷ラベルの分類精度 : 各モデルの生成による分類の 3 回平均.

表 2: Youri7B による分類と分類の理由：アノテータは，正確さ「1: 反映しているが誤解を生む可能性」，流暢さと論理性「0: 問題なし」，正確さのエラーは「不要な追加・省略の問題」「モデル由来の不正確さ」と評価

 \\

## 2.4 生成文の評価

モデルが生成した理由について，原文の裁判例の判断を反映しているか，論理的な整合性があるかを評価する。そのために，テキスト生成タスク $[13,21]$ で重視される正確さと流暢さに論理性を加えた 3 つの評価項目を用いる。

正確さ裁判例の抜粋と要約（GPT-4 の場合）や生成された分類の理由を比較し，裁判で議論されるような誹謗中傷の不法行為による問題点を，適切な用語を用いて指摘できているか評価する. 具体的には，「裁判例の判断を正確に反映していますか？」という質問に対して，「0: 問題なし」「1: 反映しているが少し誤解を生む可能性がある」「2: 反映していない」「3: 反映していない上に，致命的な誤解を生む可能性がある」という 4 段階のリッカート尺度を用いて回答する。また，不正確の場合，次の 4 つのエラータイプに該当するかをチェックする。

不要な追加・省略の問題不要・冗長なテキストが含まれている。または，裁判例中の重要な論点が欠落している.

出典の不正確さ裁判や法律，裁判例中の用語
や概念が誤って表現されている。

モデル由来の不正確さ裁判例に示されていない内容や，勝手な論点の追加など無関係なテキストがあり，裁判例と事実が異なる。

結論の矛盾裁判例と結論が矛盾している.

流暢さ語順, 文法や単語など日本語として自然さを「0: 問題なし」から「3: 文章として重大な破綻している」の 4 段階のリッカート尺度で評価する。

論理性データセットの分量や事前学習データの制約により，裁判例の判断を反映した正確な理由を述べることは，容易ではないと考えられる。 モデルが生成した理由は，予測したラベルに対する，論理的な評価をできているか「0: 問題なし」から「3: 論理的な指摘を行ってない」の 4 段階のリッカート尺度の評価とそのエラータイプのチェックを行う.

入力の不認識入力となる投稿テキストに対する，問題点を指摘できていない.

タスクの不認識理由を述べる文としての体をなしていない.

予測の矛盾予測したラベルに対して，予測を正当化する理由を述べていない。

論理の不整合取り上げている問題の原因と，
表 3: 生成した分類の理由の評価：2 名のアノテータによる 31 件ずつの評価で，Ave は $0 \sim 3$ のリッカート尺度の評価の平均，エラータイプは 31 件中の該当エラー数を示す. ただし，IAAでは，Ave は相関を，エラータイプは一致率を示す。

指摘する理由が論理的に整合していない.

法科大学院の学生 2 名に要約・生成した分類の理由をそれぞれ 31 件の評価を依頼した。合計の作業時間は 5 時間で，法学の専門知識を前提とする作業のため，謝礼として時給 2,000 円を設定した。 アノテータ間合意度 (IAA; Inter-Annotator Agreement) を表 3 に示す. 正確さ，流暢さ，論理性の全体評価には相関を，エラータイプ別の評価には一致率を用いる。専門的観点について尋ねる正確さの全体評価では，高い相関を示す一方，日本語の評価や論理性の全体評価には相違が見られた。

## 3 結果と考察

## 3.1 分類性能

表 1 は分類タスクの結果を示す．分類の評価にはラベルの生成を 3 回行った平均を用い，分類の理由の評価には各モデルの Micro-F1 が中間の事例の生成結果を利用した. LoRA で学習したモデルはいずれも，フルパラメータを更新する教師学習ありモデルの性能を超えることができていない。本タスクは，様々な要素を考慮した上で判断される裁判例からの事例を用いたことや，サンプル数の少ない人権侵害の類型もラベルとして取り入れたことで，モデルによる判別が難しいタスクになっている. 今回の設定における Micro-F1 の結果で比較すると, IAA で Offensive language の分類を評価した先行研究 [22] が示す, IAA の低い事例における分類性能 $(F 1$-score $=0.656)$ と近い結果となった.

## 3.2 生成された理由の文の評価

生成された理由に対する人手評価の結果を表 3 に示す.裁判では議論されないような観点の言及が多
さにより，モデル由来の不正確さのエラーの数に反映されている。日本語訳した FLAN [23] や Human preference data about helpfulness and harmlessness [24] のような，不快な発言を避けるようなデータセットを用いてインストラクションチューニングが行われたことで，表 2 の分類の理由の例のように，不快な生成を避ける価値観が，学習した誹謗中傷に対する裁判の判断と競合している部分が存在することが示唆される。正確さについては課題もある一方で，与えられたタスクに対して，論理的な解釈を示す能力が示された．正確さを欠くことで，hullcination の危険性を同時に孕んでいるものの，論理的な判断能力が示されたことで，学習用の論理的なフレームワー クを入力として用いることができれば，大規模言語モデルは正確に法律用語や判断枠組みを理解できる可能性がある.

## 4 おわりに

本研究は，裁判例をもとに，誹謗中傷の分類タスクと裁判所の判断を述べたテキストを用いて，分類の理由の生成タスクに取り組み，性能の評価を行った. その結果，分類タスクでは，タスク設定の難しさによって分類精度に課題を残す結果となった. 分類の理由の生成においては，論理的な能力を見せる一方で，インストラクションチューニングデータセットに含まれる価値観の影響を受けることで，裁判における判断やそれに付随する法律の枠組みを正確に反映することの難しさを示した。

この課題の克服には，利用可能な裁判例の拡充や，裁判例や法学における推論過程を，忠実に再現した学習・評価用のフレームワークの作成が必須であり, 人工知能研究者と法学研究者の協業は不可欠と考えられる。

## 謝辞

本研究は，JSPS 科研費 JP22J23161, JP22K12041 お

よび JST SICORP JPMJSC2107，戦略的イノベーショ

ン創造プログラム (SIP3) の支援を受けたもので

ある.

## 参考文献

[1] Eric Goldman Daphne Keller Olivier Sylvain Evelyn Mary Aswad, Danielle Citron. Free Expression, Harmful Speech and Censorship in a Digital World, 2020. [Accessed: 11 January, 2024].

[2] Chiara Drolsbach and Nicolas Pröllochs. Content Moderation on Social Media in the EU: Insights From the DSA Transparency Database. arXiv preprint arXiv:2312.04431, 2023.

[3] Maarten Sap, Dallas Card, Saadia Gabriel, Yejin Choi, and Noah A. Smith. The risk of racial bias in hate speech detection. In Proc. of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 16681678, 2019.

[4] Meike Nauta, Jan Trienes, Shreyasi Pathak, Elisa Nguyen, Michelle Peters, Yasmin Schmitt, Jörg Schlötterer, Maurice van Keulen, and Christin Seifert. From Anecdotal Evidence to Quantitative Evaluation Methods: A Systematic Review on Evaluating Explainable AI. ACM Comput. Surv., Vol. 55, No. 13s, July 2023.

[5] Binny Mathew, Punyajoy Saha, Seid Muhie Yimam, Chris Biemann, Pawan Goyal, and Animesh Mukherjee. HateXplain: A Benchmark Dataset for Explainable Hate Speech Detection. In Proc. of the AAAI Conference on Artificial Intelligence, Vol. 35, pp. 14867-14875, 2021.

[6] Tao Lei, Regina Barzilay, and Tommi Jaakkola. Rationalizing Neural Predictions. In Proc. of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 107-117, 2016.

[7] Hui Liu, Qingyu Yin, and William Yang Wang. Towards Explainable NLP: A Generative Explanation Framework for Text Classification. In Proc. of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5570-5581, 2019.

[8] Maarten Sap, Saadia Gabriel, Lianhui Qin, Dan Jurafsky, Noah A. Smith, and Yejin Choi. Social Bias Frames: Reasoning about Social and Power Implications of Language. In Proc. of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5477-5490, 2020

[9] Mai ElSherief, Caleb Ziems, David Muchlinski, Vaishnavi Anupindi, Jordyn Seybolt, Munmun De Choudhury, and Diyi Yang. Latent Hatred: A Benchmark for Understanding Implicit Hate Speech. In Proc. of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 345-363, 2021

[10] 資料 2 ネット上の違法・有害情報に対する総務省の取組【総務省】. [Accessed: 11 January, 2024].

[11] Overview of the digital services act. https: //commission.europa.eu/strategy-and-policy/ priorities-2019-2024/europe-fit-digital-age/ digital-services-act_en. [Accessed: 11 January, 2024].

[12] Yongjin Yang, Joonkee Kim, Yujin Kim, Namgyu Ho, James Thorne, and Se-Young Yun. HARE: Explainable Hate Speech Detection with Step-by-Step Reasoning. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 5490-5505, 2023.

[13] Chris van der Lee, Albert Gatt, Emiel van Miltenburg, Sander Wubben, and Emiel Krahmer. Best practices for the human evaluation of automatically generated text. In Proc. of the 12th International Conference on Natural Language Generation, pp. 355-368, 2019.

[14] Hendrik Schuff, Lindsey Vanderlyn, Heike Adel, and Ngoc Thang Vu. How to do human evaluation: A brief introduction to user studies in NLP. Natural Language Engineering, Vol. 29, No. 5, p. 1199-1222, 2023.

[15] Fan Huang, Haewoon Kwak, and Jisun An. Chain of explanation: New prompting method to generate quality natural language explanation for implicit hate speech. In Companion Proceedings of the ACM Web Conference 2023. WWW' 23. ACM, April 2023.

[16] 久田祥平, 若宮翔子, 荒牧英治. 権利侵害と不快さの間 : 日本語人権侵害表現データセット. 言語処理学会第 29 回年次大会, 2023.

[17] 松田寛. GiNZA - Universal Dependencies による実用的日本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695-701, 2020.

[18] Tianyu Zhao and Kei Sawada. rinna/youri-7b-instruction.

[19] Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul, and Benjamin Bossan. PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods. https://github.com/huggingface/peft, 2022.

[20] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. In Proc. of the International Conference on Learning Representations, 2022.

[21] Dandan Huang, Leyang Cui, Sen Yang, Guangsheng Bao, Kun Wang, Jun Xie, and Yue Zhang. What have we achieved on text summarization? In Proc. of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 446-469, 2020

[22] Elisa Leonardelli, Stefano Menini, Alessio Palmero Aprosio, Marco Guerini, and Sara Tonelli. Agreeing to Disagree: Annotating Offensive Language Datasets with Annotators' Disagreement. In Proc. of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 10528-10539, 2021.

[23] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M Dai, and Quoc V Le. Finetuned language models are zero-shot learners. In Proc. of the International Conference on Learning Representations, 2022.

[24] Yuntao Bai et al. Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. arXiv preprint arXiv:2204.05862, 2022.

## A 実験の詳細設定

## A. 1 学習時

lora_config $\mathrm{r}=64$, lora_alpha=64, target_module=q_proj, v_proj, k_proj, o_proj, gate_proj, up_proj, down_proj, lora_dropout $=0.05$, bias=None training_hyperparameter $\mathrm{lr}=5 \mathrm{e}-5$, scheduler=linear, optimizer $=$ adamW, epoch $=50$, batch_size $=2$

## A. 2 生成時のハイパーパラメータ

Transformers $の$ AutomodelForCausalLLM $の$ Generation $メ$ ソッドを利用. do_sample $=$ True, temperature $=0.9$, top_ $\mathrm{p}=0.95$, max_new_tokens $=400$

## A. 3 プロンプト

## A.3.1 GPT4 の要約に用いたプロンプト ポジティブサンプル (裁判例から作成した事例) インターネット“投稿” に対する人権の観点からの問題 “ ラベル”と，その “理由文”を与えます. 投稿文中の問題点について，その問題となる表現スパンを「」で引用し つつ，理由文をもとに 2 文程度で議論してください。な お，[IDinfo] は人名や企業名，詳細な地名に対するマスク 処理を行っています. 投稿：「\{text $\}\lrcorner$ ラベル：\{label $\}$ 理由: 「\{reason $\} 」$

## 名誉権の侵害事例における理由への補足文

しかし, 名誉権の侵害（名誉毀損）については，公共の利害に関する事実に係り，公益を図る目的を有するものであって，かつ，摘示事実がその重要な部分について真実であることが証明されたや摘示事実を真実と信ずるについて相当の理由があったとき，違法性が阻却される場合がある.

ネガティブサンプル（収集したオンライン投稿）

インターネット “投稿”に対する人権の観点からの問題“ ラベル”と，その “理由文”を与えます. 投稿文中の問題点について，理由文をもとに 1 文程度で教えてください. なお [IDinfo] は人名や企業名，詳細な地名に対するマスク処理を行っています. 投稿：「\{text $\} 」$ ラベル：\{label $\}$ 理由：「人権侵害を認められた事例ではないので，一般論として問題ある表現かどうか 1 文程度で議論してください.」

## A.3.2 ファインチューニングに用いたプロンプト以下は，タスクを説明する指示と，文脈のある入力の組 み合わせです. 要求を適切に満たす応答を書きなさい. \n\n\#\#\# 指示: $n$ 今から本文とその文脈を与えます. 本文 が誹謗中傷に当たるなら，ラベル<名誉権><名誉感情><人格権・人格的利益><営業権>から 2 つまで選び，そうで ないならラベルく侵害なし>と選んだ上で，その理由を答 えてください. 尚, [IDinfo] は匿名化加工トークンです. $\backslash n \backslash n$ \#\#\# 入力: 本文 $\{$ text $\}$ 文脈: $\{$ context $\} \backslash n \backslash n$ \#\#\# 応答: ラ ベル $\{$ label $\}$ 理由: $\{$ summarizedreason $\} \backslash n$表 4: 裁判所の判断の抜粋と GPT4 による要約: 令和 1 年 (ワ) 第 34145 号本件記事 1 -れえより，事例は 名誉権の侵害を認めているが，違法性阻却事由の存在より違法性は認められていない.

 \\


# 日本語不法行為事件データセットの構築

山田 寛章 ${ }^{1}$ 徳永 健伸 ${ }^{1}$ 小原 隆太郎 2,3
得津晶 ${ }^{3}$ 竹下啓介 ${ }^{3}$ 角田美穂子 ${ }^{3}$
1 東京工業大学 2 中村 - 角田 - 松本法律事務所 3 一橋大学
\{yamada, take\}@c.titech.ac.jp, r.ohara@ntmlo.com
\{a.tokutsu, kei.takeshita, m.sumida\}@r.hit-u.ac.jp

## 概要

本研究は日本語・日本法における法的判断予測研究のためのデータセットである, 日本語不法行為事件データセット (Japanese Tort-case Dataset, JTD) を提案する. JTDは不法行為判断予測タスク及びその根拠抽出タスク向けに設計されている。根拠抽出タスクは不法行為の成否判断に際して重要な根拠となった主張を，原告または被告の主張の中から抽出するタスクである. JTD には 41 人の法律専門家によって注釈付けされた 3,477 件の民事事件判決書に基づいて構築されており，7,978 事例（事例に内包される原告・被告らの主張は 59,697 事例）が収録されている. ベースライン実験により JTD の各タスクの実現可能性を確認し, さらに不法行為判断予測・根拠抽出の両タスクを同時に学習させることで性能が改善することを示した。

## 1 はじめに

民事における法的な争いにおいて，非専門家の当事者が状況を整理した上で紛争解決の結果を予見することは困難であり，法律専門家への相談にも心理的・時間的・金銭的な障壁がある. 紛争解決結果を予測するモデルが当事者に予測結果を提供することでこれらの障壁を解消できる。 さらに，当事者間の話し合いにより合意することで紛争の解決を図る調停手続きの進行をモデルによって支援することや， モデルをオンライン裁判外紛争解決手続き (ODR) に組み込むことで，定型的な紛争の解決において省力化を行うことが可能である．このため，紛争解決に伴う法的判断予測 (Legal Judgment Prediction, LJP) を行うモデルの開発が求められている.

LJP は国外において盛んに研究されている. 欧州人権裁判所のデータを用いた研究 $[1,2,3,4]$ は
その代表例である。米国においても Katz ら [5] による米国最高裁判所におけるデータを用いた例， Semo ら [6] によるクラスアクション訴訟を取り扱った例が挙げられる。中国においては刑事事件向け $\operatorname{LJP}[7,8,9,10,11]$ の研究が盛んである. また, Chalkidis ら [12] は複数のタスクから構成される英語圏の法律分野向けのベンチマークデータセット LexGLUE を提案している.

国内においては，機械学習を用いた実験に適する規模を持つ実事件データを元にした LJP データセットは存在しない。法に関するデータを用いた Competition on Legal Information Extraction/Entailment (COLIEE) [13] が存在するものの, COLIEE では日本の司法試験短答式問題を用いている点で狙いが異なる. 言語・法制度は国毎に異なるため，LJP 研究において日本独自の LJP データセットを構築することは重要である．そこで日本の民事事件判決書を用いた大規模なデータセットとして Japanese Tort-case Dataset (JTD) を構築する.

## 2 日本語不法行為事件データセット

## 2.1 データ収集

本研究で構築するデータセットの対象は不法行為事件の判決書とする。不法行為は民事事件において重要な概念であり，日本法上は「故意又は過失によって他人の権利又は法律上保護される利益を侵害した者は、これによって生じた損害を賠償する責任を負う。」1）とされる．現代社会においては，インターネット上における名誉毀損・プライバシー侵害に関連して，不法行為法の果たす役割がより重要になると想定される.

判決書は，株式会社 LIC が提供する「判例秘書2)」

1）民法第七百九条

2) https://www. hanreihisho.com/
図 1 不法行為判断予測タスクと根拋抽出タスク

から収集する. 収集対象の判決書は，民事事件の第一審であり，名誉毀損・プライバシー侵害・信用毀損を中心とする不法行為関連事件とする. 収集時には判例秘書にて提供されるキーワードベースの検索システムを利用した ${ }^{3)}$. 検索結果に混入した不法行為に関連しない事件は人手にて除去した。なお，収集対象の判決書は仮名化処理済みである.

## 2.2 タスク設計

不法行為事件には，不法行為を申し立てる原告側と反駁する被告側から存在する. 裁判では，原告側・被告側の主張を裁判所が審理し，各主張について採用するか否かの判断が行われ，最終的な判決が導かれる.このため, 各主張に対する採否の判断が最終的な不法行為判断の根拠に相当すると見なし， タスクを設計する。

図 1 に JTD に収録する 2 つのタスク, 不法行為判断予測 (TP) 及び根拠抽出 (RE) の概要を示す. TP ・ $\mathrm{RE}$ 共に入力は, 原告側主張のリスト $P$ ・被告側主張のリスト $D$ ・争いのない事実 ${ }^{4} U$ である. TP では不法行為の成否を示す二値 $T$ を出力とする． RE では, $P, D$ 中の各主張に対する採否を示す二值の系列である $R^{P}, R^{D}$ を出力とする. 図 2 に JTDを構成するデータの例を示す. 図中, $T_{g}, R_{g}^{P}, R_{g}^{D}$ はそれぞれ $T, R^{P}, R^{D}$ の正解ラベルを指す. JTD には $\left(U, P, D, T_{g}, R_{g}^{P}, R_{g}^{D}\right)$ の組が収録される. 以降，この組を事例と呼ぶ。

## 2.3 アノテーション

前節で定義した事例を得るため，判決書に対して人手による注釈付けを実施した. 注釈付けの基準は日本語判決書に向けに設計されたものを使用し

3）検索時に用いたクエリを付録 B に示す.

4）争いのない事実は複数ある場合でも結合して一つの文字列として取り扱い， $P, D$ のようなリストとしない.図 2 名誉毀損に関する不法行為の訴えの事例（一部改変・縮約）

## 争いのない事実 $(U)$

インターネット上のページ「D」に「XIさん金返さないとっという書込みが, IPアドレス***.***.***.***を経由して投稿された。

## 原告側主張 $(P)$

 \\

## $T_{g$ : False}

た [14]. 判決書への注釈付けには法に関する専門知識が必要となるため，注釈付けは法曹・法科大学院学生・法学部学生ら 41 名に依頼した.

表 1 に注釈付けの結果得られた JTD の概要を示す. 3,477 件の判決書を注釈付けした結果，7,978 件の事例が得られた. 全事例の $40 \%$ で不法行為が成立と注釈付けされている．また，REの対象となる原告・被告からの主張は合計で 59,697 件得られ，そのうち $53 \%$ が原告側主張であった. 全主張のうち $51 \%$ が採用と注釈付けされている. 表 2 に JTD の訓練,検証，テスト用の各セットへの分配設定を示す.

## 3 モデル

JTD の各タスクの実現可能性の確認及び JTD のベースラインとなるスコアの確立を目的として，階層型 Transformer を元に構築したモデルを用いた実験を行う。

各主張それぞれでの内部文脈と主張間の関係の

表 2 JTDにおける訓練・検証・テストセット

双方を考慮するために，二階層から成る Transformer ベースのモデルを用いる. 以降，このモデルを Inter-Claim Transformer (ICT) と呼ぶ. ICT は, 争いのない事実 $U$, 原告主張の系列 $P$ 及び被告主張の系列 $D$ を受け取り, $\mathrm{TP}$ 出力 $T$ 及び $\mathrm{RE}$ 出力 $R^{P}, R^{D}$ を返す. ICT は，原告・被告の別を表現するための当事者種別表現，位置表現も考慮する。

ICT には主張エンコーダと事例エンコーダが存在する. 主張エンコーダには日本語 BERTを用いる。本実験では日本語 BERT として, BERT-base-Japanese $(\text { BERTja })^{5}$ と Japanese-LegalBERT (JLBERT) [15] を用いて両者を比較する．JLBERT は日本の民事事件を用いて追加の事前学習が行われており，BERTja と比較してより高い性能が期待できる。事例エンコー ダは主張間の関係を考慮する役割を担っている。事例エンコーダは主張エンコーダとは異なり, 事前学習されていない Transformer エンコーダである。なお，争いのない事実については，どの主張に対しても同じ表現を伝達できるように，主張エンコーダとは独立して表現を得る機構となっている。

図 3 に ICT の内部構造の概要を示す. 図中， $N$ 個の主張があり，その内 $\mathrm{N}$ 個が原告側主張である. 争いのない事実の表現 $E^{f}$ は全主張で同じものが共有される. 当事者種別表現は, 各主張の主張者に応じ $\tau$, 原告の場合は $E^{p}$, 被告の場合は $E^{d}$ が割り当てられる. $E_{n}^{p s}$ は $\mathrm{n}$ 番目の位置表現を示す. 例えば，事例エンコーダに対する原告の $n$ 番目の入力は，主張エンコーダから得られる $n$ 番目の主張の表現に，争いのない事実 $\left(E^{f}\right)$, 当事者種別表現 $\left(E^{p}\right)$, 位置表現 $\left(E_{n}^{p s}\right)$ を足したものになる.

$\mathrm{TP} \cdot \mathrm{RE}$ 出力は事例エンコーダの直後にある線形層を通じて得られる. ICT は $\mathrm{TP}$ ・RE 各タスク単独

bert-base-japanese-v2図 3 Inter-Claim Transformer (ICT)

で解く設定と， $\mathrm{TP} ・ \mathrm{RE}$ を同時解くマルチタスク設定のどちらでも利用可能となっている.

以下，ICT と併せて本実験で用いるモデルを列挙する。

## 3.1 根拠抽出タスク (RE)

・RE-random: 学習セットにおけるラベルの割合を元に，ランダムに予測する手法.
- RE-BERT: 通常の BERT 単体を二值分類器として用いる手法. RE-BERTja 9 RE-JLBERT 2 種類があり，それぞれ BERTja，JLBERTを用いている。

-RE-IST: ICTを用いる手法で，RE タスク単独で学習・推論を行う設定. RE-ICT-BERTja と RE-ICT-JLBERT の 2 種がある.

## 3.2 不法行為判断予測タスク (TP)
- TP-random: RE-random と同様の手法.

-TP-IST: ICTを用いる手法で，TP タスク単独で学習・推論を行う設定. TP-ICT-BERTja と TP-ICT-JLBERT が実験対象である.

## 3.3 マルチタスク

上記の各タスク単独で学習する手法に加えて, ICT を用いて TP と REの 2 タスクを同時に学習させる実験も行う. このとき，REタスクの損失関数 $\operatorname{Loss}_{\mathrm{RE}}$ と $\mathrm{TP}$ タスクの損失関数 $\operatorname{Loss}_{\mathrm{TP}}$ は式 1 のように組み合わせる。

$
\operatorname{Loss}=\alpha \operatorname{Loss}_{\mathrm{TP}}+(1-\alpha) \operatorname{Loss}_{\mathrm{RE}}
$

マルチタスクを採用する ICT においても，MultiICT-BERTja と Multi-ICT-JLBERT $の 2$ 種類を用意する.
表 $3 \mathrm{RE}$ タスクの実験結果 (Accuracy 及び標準偏差)

表 4 TP タスクの実験結果 Experimental results of TP (Accuracy 及び標準偏差).

## 4 実験

## 4.1 実験設定

全モデルに共通して，最適化アルゴリズムには AdamW [16] を用いる. エポック数は 30 に固定し，検証用セットにおいて Accuracy スコアが最大とるエポックのチェックポイントを採用する．ICT が許容する最大の主張の数は 64 , ICT の主張エンコーダの最大入力長は 512 トークンとする. ICT の主張エンコーダである BERTja または JLBERT のパラメー 夕は固定しないで学習対象とする。 ハイパーパラメタの探索では Optuna [17]を用いた. 探索時には訓練セット中の 3,000 事例のみを利用して学習を行い， その評価には検証セット全てを用いた6)。

本実験では， $\mathrm{RE} ・ \mathrm{TP}$ 共に Accuracy を評価指標として用いる. モデルの学習と評価は, 異なるシード値を用いて 5 回実施し，その平均値を結果と見なす. 統計的仮説検定として Permutation test による有意水準を $5 \%$ とした両側検定を実施する.

## 4.2 実験結果

表 3 に根拠抽出タスク (RE) の結果を示す. 表中の「全体」列は RE の対象である主張全体の結果，「原告」及び「被告」の列は，ぞれぞれ原告側・被告側主張についての結果である。

「全体」の結果によれば, ICT 系モデルはRE-BERT 系モデルから大きく性能が向上していることがわ

6）付録表 7 に探索空間を示す。
かる。これは，ICT の主張間関係を考慮する機構が期待通りに働いたためと考えられる. BERTja 採用モデルと JLBERT 採用モデル間で比較すると， JLBERT 採用モデルが常に良いスコアを示している.この点, Multi-ICT 系モデルの組を除く, 全ての組で統計的に有意な差を確認している. ただし， JLBERT の事前学習時に用いられた判決書と JTD 構築に用いられた判決書の間に重複がある点を留意すべきである.

Multi-ICT 系モデルは，同じ主張エンコーダを用いる RE-ICT 系モデルと比較すると，常に Multi-ICT 系モデルが良いスコアを示している。この傾向は，特に BERTja を主張エンコーダとして採用する際に明確で，RE-ICT-BERTja と Multi-ICT-BERTja 間では統計的な有意差を確認した.「原告」「被告」それぞれに着目すると，傾向は「全体」と同様であるものの, 「原告」において RE-ICT-JLBERT が最高スコアを示した点が異なっている。

表 4 に不法行為判断予測タスク (TP) の結果を示す. RE と同様，Multi-ICT 系モデルが最高性能を示している. Multi-ICT 系モデルは, 同じ主張エンコー ダを用いる TP-ICT 系モデルと比較すると, 常により高いスコアを示している. 特に, Multi-ICT-BERTja と TP-ICT-BERTja 間で統計的な有意差を確認した.

$\mathrm{RE}$ ・ $\mathrm{TP}$ 共に，各モデルが RE-random, TP-random を大きく超える性能を示したことから，JTD において提案した各タスクに一定の実現可能性があることを確認できた。 また， RE・TP の双方で Multi-ICT 系モデルが最高性能を示した. このことは，これらのモデルが不法行為成否の判断と各主張の採否の判断に間にある相互関係を捉えて利用できていたことを示唆している.

## 5 結論

本研究では，日本語・日本法に基づくLJP データセットである日本語不法行為事件データセットを構築した. 本データセットは, 不法行為の成否判断を予測するタスクと，その根拠となりうる重要な主張を抽出するタスク向けデータを提供する．人間の法律専門家による注釈によって構築された LJP デー タセットとしては規模が大きく，他に類例がない. ベースライン実験では，各タスクに実現可能性があることを示し，さらに判断予測と根拠抽出の両タスクを同時に学習させることで性能が改善することを示した.

## 謝辞

判決書データをご提供いただいた株式会社 LIC に感謝申し上げます. また，データセット構築及び注釈付け作業にご協力いただいた全ての方に感謝申し上げます. 本研究は JST RISTEX JPMJRX19H3 並びに JST ACT-X JPMJAX20AM の支援を受けたものです.

## 参考文献

[1] Nikolaos Aletras, Dimitrios Tsarapatsanis, Daniel Preotiuc-Pietro, and Vasileios Lampos. Predicting judicial decisions of the european court of human rights: a natural language processing perspective. PeerJ Comput. Sci., Vol. 2, p. e93, 2016.

[2] Masha Medvedeva, Michel Vols, and Martijn Wieling. Judicial decisions of the European Court of Human Rights: looking into the crystall ball. In Proceedings of the Conference on Empirical Legal Studies in Europe 2018, 2018.

[3] Ilias Chalkidis, Ion Androutsopoulos, and Nikolaos Aletras. Neural legal judgment prediction in English. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4317-4323, Florence, Italy, July 2019. Association for Computational Linguistics.

[4] Josef Valvoda, Ryan Cotterell, and Simone Teufel. On the Role of Negative Precedent in Legal Outcome Prediction. Transactions of the Association for Computational Linguistics, Vol. 11, pp. 34-48, 012023.

[5] Daniel Martin Katz, Michael J. Bommarito, II, and Josh Blackman. A general approach for predicting the behavior of the supreme court of the united states. PLOS ONE, Vol. 12, No. 4, pp. 1-18, 042017.

[6] Gil Semo, Dor Bernsohn, Ben Hagag, Gila Hayat, and Joel Niklaus. ClassActionPrediction: A challenging benchmark for legal judgment prediction of class action cases in the US. In Proceedings of the Natural Legal Language Processing Workshop 2022, pp. 31-46, Abu Dhabi, United Arab Emirates (Hybrid), December 2022. Association for Computational Linguistics.

[7] Bingfeng Luo, Yansong Feng, Jianbo Xu, Xiang Zhang, and Dongyan Zhao. Learning to predict charges for criminal cases with legal basis. In Proceedings of the $\mathbf{2 0 1 7}$ Conference on Empirical Methods in Natural Language Processing, pp. 2727-2736, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[8] Haoxi Zhong, Zhipeng Guo, Cunchao Tu, Chaojun Xiao, Zhiyuan Liu, and Maosong Sun. Legal judgment prediction via topological learning. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3540-3549, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[9] Zikun Hu, Xiang Li, Cunchao Tu, Zhiyuan Liu, and
Maosong Sun. Few-shot charge prediction with discriminative legal attributes. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 487-498, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[10] Shangbang Long, Cunchao Tu, Zhiyuan Liu, and Maosong Sun. Automatic judgment prediction via legal reading comprehension. In Maosong Sun, Xuanjing Huang, Heng Ji, Zhiyuan Liu, and Yang Liu, editors, Chinese Computational Linguistics - 18th China National Conference, CCL 2019, Kunming, China, October 18-20, 2019, Proceedings, Vol. 11856 of Lecture Notes in Computer Science, pp. 558-572. Springer, 2019.

[11] Nuo Xu, Pinghui Wang, Long Chen, Li Pan, Xiaoyan Wang, and Junzhou Zhao. Distinguish confusing law articles for legal judgment prediction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3086-3095, Online, July 2020. Association for Computational Linguistics.

[12] Ilias Chalkidis, Abhik Jana, Dirk Hartung, Michael Bommarito, Ion Androutsopoulos, Daniel Katz, and Nikolaos Aletras. LexGLUE: A benchmark dataset for legal language understanding in English. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 4310-4330, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[13] Randy Goebel, Yoshinobu Kano, Mi-Young Kim, Juliano Rabelo, Ken Satoh, and Masaharu Yoshioka. Summary of the competition on legal information, extraction/entailment (coliee) 2023. In Proceedings of the Nineteenth International Conference on Artificial Intelligence and Law, ICAIL '23, p. 472-480, New York, NY, USA, 2023. Association for Computing Machinery.

[14] Hiroaki Yamada, Takenobu Tokunaga, Ryutaro Ohara, Keisuke Takeshita, and Mihoko Sumida. Annotation study of Japanese judgments on tort for legal judgment prediction with rationales. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 779-790, Marseille, France, June 2022. European Language Resources Association.

[15] Keisuke Miyazaki, Hiroaki Yamada, and Takenobu Tokunaga. Cross-domain analysis on Japanese legal pretrained language models. In Findings of the Association for Computational Linguistics: AACL-IJCNLP 2022, pp. 274-281, Online only, November 2022. Association for Computational Linguistics.

[16] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[17] Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining, KDD '19, p. 2623-2631, New York, NY, USA, 2019. Association for Computing Machinery.

 & $\mathrm{T}$ & F \\

## TP 正解: True, TP 予測: False

## A モデルによる予測例

表 5 に各タスクに対するモデル出力の例を示す.

## B判決書収集時に使用したクエリ

判決書収集の際に使用したクエリを表 6 に示す.名誉毀損・プライバシー侵害・信用毀損などの不法行為関連事件の収集には表中のクエリ $\mathrm{A}$ を用いた。 また，インターネット上おける不法行為に関する争いは，発信者情報開示請求事件においても扱われることから，クエリ Bを用いた収集も行った。

## C ハイパーパラメタ探索空間

表 7 ハイパーパラメタの候補

## D 誤予測事例の難易度分析

図 4 人間の専門家による確信度

4 節の実験について，モデルが不法行為判断予測を誤った事例の難易度を調査した。分析には 4 人の法学専門家（本論文の著者）が参加した. 分析対象のモデルは TP-ICT-BERTja, TP-ICT-JLBERT, Multi-ICT-BERTja and Multi-ICT-JLBERT とした. 各モデル 5 回の出力結果は多数決により統合した. 分析対象事例は，上記 4 モデルのいずれもが予測に失敗した事例 139 件から無作為に 60 件選択した。 60 件は参加者に重複なく分配され，2 名が各 20 件，別の 2 名が各 10 件を担当した。

分析対象事例について，与えられている入力から法的判断予測を行う際の確信の度合いを調査した。分析参加者には，0 から 3 までの 1 点刻みでの回答を求めた. 3 は専門家であれば自信を持って不法行為成否を判断できることを意味し，0 は全く不可能であること意味する。図 4 に回答の集計結果を示す. 0 または 1 と回答された事例は $75 \%$ を占め，モデルが誤って予測した事例は，実際に難易度の高い事例であることが示唆された7).

7）より詳細な分析:https://arxiv.org/abs/2312.00480

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 法令データの現状と法令分野へのデジタル技術適用の展望

山内匠
デジタル庁
https://www. digital. go. jp/

## 概要

法令は経済活動や権利義務関係に影響する重要な情報であり，言語処理技術や AI 技術を含むデジタル技術を組み合わせることによるサービス創出や政策立案の高度化が期待される. 本稿では, 法律, 政令, 府省令といった法令データの整備の経緯と現状,法令 XML や法令 API などの法令データ公開方法の技術概要, 法制事務デジタル化や法令データ利活用の未来像について, デジタル庁における政策や有識者会合における議論を中心に解説する。

## 1 法令ベース・レジストリの整備

法令は経済活動や権利義務関係に影響する重要な情報であり, かつ頻繁に改正されるため, 最新の条文を管理し，だれもが適時入手できるようにすることが必要である. また, 弁護士など法令の専門家向けの法令情報の調査・分析サービスなど, 法分野にデジタル技術を適用する「リーガルテック」でも法令データが基盤情報として活用されており，2 次利用しやすい形でのデータ提供が重要である.

このため, デジタル庁では, 法律, 政令, 府省令といった法令のデータを整備し, 公表している.こ

指定され，「e-Gov 法令検索」 ${ }^{\mathrm{iii}}$ 及び「法令 API」 ${ }^{\mathrm{iv}}$ から入手することができる.

## 1.1 法令データ整備の経緯と現状

法令の情報を整備し提供する努力はデジタル技術が進展する前から行われていた。法務省が編さんす

る総合法規集「現行日本法規」が最初に刊行されたのは日本国憲法施行後間もない 1949 (昭和 24) 年である。冒頭の「刊行の趣旨」には，当時の法務総裁殖田俊吉の「新鮮な構想、合理的な編成、正確な校正によつて、現代日本における法令集の決定版を世に贈り得たことを深く欣びとする」 [1]との言が記され, 国家事業として正確な法令情報を世に届ける決意が感じられるのではないだろうか.

その後デジタル技術が利用されはじめ, インター ネットの普及前には国の行政機関内で法令データべ一スが活用された. 各省庁が共同で利用したものとしては「法令検索システム」（1979（昭和 54）年から当時の行政管理庁が提供） [2]等が挙げられる.

インターネットから利用できる無償サービスとしては，総務省において2001（平成 13）年から「法令データ提供システム」が提供され [3], その後 2017

（平成 29）年から「e-Gov 法令検索」が提供されている [4]. e-Gov 法令検索は, 総務省が 2016 (平成 28）年から提供している「法制執務業務支援システム（e-LAWS）」vの法令データベースを利用する。 2021 (令和 3) 年のデジタル庁設置に伴って e-Gov 法令検索及びe-LAWS はデジタル庁に移管された.

ところで，法令情報の媒体の一つに「官報」がある. 法令の公布は官報で行われvi，官報が法令の「正本機能」を有する [5]が，e-LAWS と官報では，提供する法令の情報が異なることに注意されたい。法令は新規制定又は全部改正により生まれた法令（いわば“初版”) が，一部改正法令（いわば“差分”) で改正され，新しい版（差分を適用した改正版。通称「溶け込み条文」）となる。このうち通常参照さ

れるのは溶け込み条文であろう。しかし官報に掲載されるのは “初版” と “差分”, すなわち, 国会で成立し公布された, 正本である新規制定法令, 全部改正法令又は一部改正法令であり, 溶け込み条文は掲載されない. e-LAWS では一部改正法令や全部改正法令に加えて溶け込み条文を掲載する役目を担う。

溶け込み条文を作るには，官報に掲載された改正法令に従って条文を書き換え（「溶け込ませ」と呼ばれる），データを更新する作業が必要となる。eLAWS では, 一時期, このデータ更新作業において,各省庁による認証が行われないことがあり, また更新が遅延することがあったが [6], 2022 (令和 4) 年度から, 法務省を中心に溶け込ませの作業を行う作業フローへと見直し, 現在では, 正確な法令データが迅速に掲載されるようになった。

なお，法律・政令・府省令等については e-LAWS でベース・レジストリとして整備しているが，「社会においてルール／規律として機能しているのは必ずしも法令（法律・政省令）に限らず、全体像の把握が困難」[7]との指摘もあり, 現在統一的なデータベースのないルール・規律へのアクセシビリティの確保は依然として課題といえる.

## 1.2 法令 XML

e-LAWS の法令データは，法令標準 XML スキー マviに基づいた XML 形式で提供される. 例えば行政手続法 (平成五年法律第八十八号) の法令 XML を見てみよう，同法第一条は，Web ページ上では図 1 のように表示される条文であるが，この条文を XML 上で探してみたい.

(目的等)

第一条この法律は、処分、行政指導及び届出に関

する手続並びに命令等を定める手続に関し（略）

2 処分、行政指導及び届出に関する手続並びに命令等を定める手続に関し（略）

図 1 行政手続法第一条

法令 XML は e-Gov 法令検索vii に表示されるダウ

表す XML タグは〈Article〉である.このことを手がかりに第一条の条文を探すと, 図 2 のような XML 片が見つかる。法令 XML は主に条・項・号や表な

どの文章構造のレベルでのマークアップが行われ，図 2 でいえば, <Article> (条), 〈Paragraph〉(項) といった文章構造が XML タグとして記述される.法令 XML を利用することで，特定の条項の条文を抽出したり，文章構造に応じて見やすく表示するアプリケーションを開発することができる.

図 2 行政手続法第一条の法令 XML (一部)

日本の法令標準 XML スキーマに準拠した XML は法令 XML スキーマの国際標準方式である Akoma Ntoso [8]形式に変換することができ, Akoma Ntoso 準拠のアプリケーションで日本の法令データが活用できることが報告されている [9].

現在の法令標準 XML スキーマは, 2017 (平成 29)年度以降に有効だった法律・政令・府省令等の条文を表現できるように設計されている。それ以前の改正前条文や，告示など他の種別の条文に対応範囲を拡大寸る場合には XML スキーマの拡張が必要となると考えられる．明治期以降の法令に対応するために必要な拡張については研究例がある [10].

なお，現状の法令標準 XML スキーマには，条項の参照や定義語など，文法や用語を記述する機能はない．現時点ではこれらの情報を得るには条文の内容を読み解く必要があるが，ここでは言語処理技術の活用が考えられる. 法令は自然言語でありつつも，厳密な記述ルールに従う形式言語的な性質を併せ持つので，この性質を利用することも一案である。一例として，筆者は条文中の条項参照や定義語などを一定程度解析するルールベースのプログラムを作成し，条文ビューアなどのアプリケーションと共に公開している [11]. なお，法令においては，用語が条文内で定義されず文脈に依存する「オープンテクスチャ」や，他の条文を操作する高階表現のような性質があるため [12], 条文中の文法や用語を厳密に扱う際はこれらの性質の考慮も必要となろう。

ix 法令 API で行政手続法の本文を取得する URL：

https://elaws.e-gov.go.jp/api/1/lawdata/405AC0000000088 x OASIS LegalDocumentML (LegalDocML) TC において標準化 [31].

## 1.3 法令 ID

法令を参照するときに「行政手続法」のような法令名や「平成五年法律第八十八号」のような法令番号が用いられる. 同一の法令名を持つ法令が複数ある場合もあるため, 法令を特定するための手段として法令番号が用いられる [13].

e-Gov 法令検索の URL や法令 API のパラメータでは，法令番号と 1 対 1 で対応するように設計された「法令 ID」が用いられる. 法令 ID は機械可読な 15 枌の文字列で, 図 3 に示すように, 法令番号を構成する「年」「法令種別」「番号」にそれぞれ対応するようにコード化がなされているxi.

図 3 法令番号と法令 ID の対応関係

法令 ID は法令単位での識別子であるが, 諸外国ではさらに細かい条項などの文章構造単位でURIを定義し, 開発者向けに解説している例があるxii. 条項単位の識別子を用いることで条項へのリンクが容易になるほか, 文章同士を紐付けたデータの蓄積に役立つとの指摘もあり [14], 整備の検討が期待される。

## 1.4 法令 API

e-Gov 法令検索では対応しきれない様々なニーズに対応したサービスの開発ができるよう, デジタル庁では「法令 API」xiiz提供しており, 法令一覧や法令本文の XML をWeb API で取得できる. ただし， キーワード検索機能や, 改正前の過去の条文の取得機能などニーズのある機能に対応していないなどの課題があるため, デジタル庁では法令 API の機能拡張に取り組んでおり，2023（令和 5）年 10 月頃にプロトタイプの公開テストを実施した [15]. 当該プロトタイプでは API 仕様を OpenAPI 形式xivで提供し, サンプルコードを提供するなど，開発者視点での利便性にも配慮している. 本稿執筆時の 2024 (令和 6)年 1 月時点では, 実運用に向け検討を進めている.機能拡張した法令 API プロトタイプの利便性を検証し, また新たな活用事例を創出するため, デジタル庁では 2023 （令和 5）年 11 月に「法令 API ハッカソン」を開催し, 14 チーム・ 56 人の参加者により法令 API プロトタイプを用いた多様なサービスが提案された [16]. このように, 法令 API を活用した多様なサービス創出を推進することで, 社会の利便性が向上し，法令の普及にも資すると考えられる.

## 2 法制事務のデジタル化

前章では法令データの提供面に着目した。次に，本章では法令の編集，管理，分析などを行う「法制事務」に着目したい，法制事務は，法令データを維持し，政策立案・制度運用を支える基盤であるといえるが，現状は，紙の時代のワークフローに断片的にデジタル技術を適用した状態であり，デジタル技術を用いた根本的な効率化がなされておらず，職員の負担にもなっている.

法制事務では, 法律案や政令案の閣議請議に用いられる通称 $\Gamma 5$ 点セット」xv と呼ばれる書類や国会提出資料, 官報入稿原稿といった複数の種類の書類を編集する.これらの書類は PDF や印刷物としての体裁を厳密に再現することが求められるxvi. 編集には Word や一太郎といったワープロソフトが用いられるが，条文内容と体裁の作業やデータが分離されておらず，作業中のワープロファイルの内容は個別の書類の体裁に依存し機械可読性が低い，そのため条文の管理や転記, 体裁の編集は手作業に依存する。

条文の管理や転記，体裁の編集を手作業で行うことはヒューマンエラーを誘発すると考えられるが，機械可読性の低さゆえ，デジタル技術による条文・体裁チェックの適用にも限界がある。最終的には目視に頼り，人手によるエラーを同じ人手で補う構造となる. 2021 (令和 3）年の第 204 回通常国会では法律案に多数の誤りが生じる事態も発生した [6].

また, 政策立案の場面では既存の条文の分析を行うが，ここでもキーワード検索などの基礎的な手段のほかは手作業に依存する. 事例の一つとして, 2021 (令和 3) 年からデジタル臨時行政調査会において,「アナログ規制」の見直しが取り組まれたが，このとき行われた法令の点検・見直しは膨大な手作業・

人海戦術であったと報告されている [7].手作業・目視の作業に費やす時間や労力をデジタル技術で代替できれば，政策立案の内容面など，より本質的な作業に注力できる. そのために, デジタル技術を適用しやすい法令データを中心とした法制事務の確立や, AI や言語処理技術を含むデジタル技術の適用が期待される. デジタル庁では法制事務のデジタル化に取り組んでおり，法令の編集ツールの改善や，機械可読なデータで編集中の条文を管理する仕組みの検討 [17], 生成 AI や法令 API を用いた法制事務補助の実験などを行っている [18].

## 3 法令等データ利活用の未来像

ここまで, 法令データや法制事務に関する現状と課題を紹介した. 最後に本章では, より未来に視線を向けて,法令等データ利活用の展望を議論したい。法令は重要性が高い分, 適切な改正を適時行う必要性も大きい. 例えば，前述したアナログ規制の見直しによる総合的な経済効果は, 2023 (令和 5) 年 8 月時点の中間報告では約 3.6 兆円と推計されている [19]. 高度なデジタル技術を用いてこのような制度見直しを迅速化・効率化できれば効果は大きい.法令をプログラムのコードのように扱って効果をシミュレートし, 最適な制度設計ができないだろうか. そんな構想が「Rules as Code」というキーワードで研究されている.ニュージーランド政府の「Better Rules」[20]や OECD の調査 [21]のような研究例のほか，カナダ政府の天然資源採掘規制に関するパイロット事業 [22], 税・給付分野に関する実装例「OpenFisca」 [23]のような事例が存在する.

法令やルールをコードとして表現する研究は以前から存在し, 2000 年代には, ソフトウェア工学的手法を法令に適用する「法令工学」が提案された [24]. しかしながら, 現時点において Rules as Code のような考え方が広い分野で実用されているとはいえず，

財政分野など, 数値や論理で厳密に表現できる分野が中心である．法令は裁判など様々な場面で解釈の対象となるなど, ソフトウェアのコードにはない複雑性を持つため, 広い分野への実用には技術的課題が多く残ると考えられる。

一方, 近年では生成 AI により言語処理技術の技術革新もあった. OpenAI $の$ GPT-4 は米国の司法試験シミュレーションで上位 $10 \%$ の性能を発揮 [25] するなどの技術進展もあり, 法文書処理の国際コンテスト「COLIEE」 [26]の 2023 年開催時は生成 AI
が台頭した [27]. 生成 AIなどの機械学習モデルは,法的推論で重要となる推論過程の説明が困難という課題もあるが，機械学習モデルと従来のルールベー スの推論を組み合わせたハイブリッド型のアプロー チを法令分野に適用する提案もなされている [28].

これらの技術をさらに高度化することで, 法令のシミュレートを実現することはできるだろうか. 解決すべき技術的・制度的課題はなお多く, 長期的な取り組みが求められる. デジタル庁の有識者会議では, これら技術的・制度的課題の整理や解決策の検討のため，「デジタル法制ロードマップ」を議論している [29]. デジタル法制ロードマップでは，一足飛びに法令のシミュレーションの実現を目指すのではなく，下記に掲げる段階のように技術開発とデー 夕整備を順次高度化し，フェーズごとに政策やサー ビスなどの成果を得ることが提案されている.

・フェーズ 0 : 法令データの維持管理を手作業や目視に頼る現状.

・フェーズ 1 : デジタル技術で効率的に法令情報が維持・提供される状態.データの相互連携が進展.

・フェーズ 2 : 法令や条文の ID でデー夕同士が連携した状態. 周辺情報を含めた用語分析が進展.

・フェーズ 3 : 法令用語の意味情報が整備された状態. 法令の条文構造の機械可読化が進展.

・フェーズ 4 : 法令の機械可読な条文構造が整備された状態. 条文構造と実装の対応の分析が進展.

・フェーズ 5 :デジタルツイン上で法令や制度がシミュレートされる状態.

デジタル法制ロードマップは，整備されたデータを用いた新たな技術の研究開発と，その技術を用いた新たなデータの整備とを交互に高度化するサイクルで構成される. 新しい技術やサービスの開発のためにも, 法令データの利便性向上や利活用促進, そしてこれらのデータを支える法制事務のデジタル化の果たす役割は大きいと考えられる。

## 4 まとめ

本稿では, 法令データの現状, 法制事務デジタル化の取り組みや法令データ利活用の展望について解説した. 現在の法令等データ利活用促進, 法制事務デジタル化の取り組みは，デジタル技術を最大限に活用した効果的な政策立案を行う未来像に向けた第一歩といえる. 利便性の高いサービスの創出や法制事務・政策立案への高度な技術活用に向け, 今後も継続的な取り組みが期待される。

## 参考文献

1. 法務省. 現行日本法規.

2. 国の行政機関における電子計算機システムの共同利用.砂口睦美. 6,1979 年, 情報管理, 第 22 巻, ページ: 445-455.

3. よくあるご質問（法令検索内）｜電子政府の総合窓口 e-Gov イーガブ. (オンライン)

https://warp.ndl.go.jp/info:ndljp/pid/8943652/www.egov.go.jp/law/faq_a.html .

4. 総務省 $\mid$ 報道資料 |法令データベース「e-Gov 法令検索」のリニューアル公開. (オンライン)

https://www.soumu.go.jp/menu_news/snews/01 gyokan01 02000059.html .

5. 官報電子化検討会議. 官報電子化の基本的考え方. 2023.

6. 法案誤り等再発防止プロジェクトチーム. 法案誤り等再発防止プロジェクトチーム取りまとめ. 2021.

7. 法制事務のデジタル化について. デジタル庁. 2022 年, デジタル臨時行政調査会作業部会法制事務のデジタル化検討チーム（第 1 回）資料 5.

8. Palmirani, Monica and Vitali, Fabio. Akoma-Ntoso for legal documents. Legislative XML for the Semantic Web. 2011, pp. 75-100.

9. Development of applications for open data for Japanese laws and regulations. Nakamura, Makoto. 1, 2022, Journal of Open Access to Law, Vol. 10.

10. 歴史情報としての法令データベースの構築. 佐野智也，ほか. S2, 2023 年, デジタルアーカイブ学会誌, 第 7 巻.

11. Yamauchi, Sho. Lawtext: Manageable plain text format and utility tools for laws. [Online] https://yamachig.github.io/Lawtext/ .

12. 人工知能の発展と企業法務の未来(1). 角田篤泰. 1107 , 2017 年, NBL, ページ: 24-35.

13. 法制執務研究会. 新訂ワークブック法制執務第 2 版. 2018.

14. デジタル臨時行政調査会作業部会法制事務のデジタル化検討チーム（第 7 回）. デジタル庁. 2023.

15. （終了）法令 API プロトタイプ公開テスト.(オンライン) (引用日: 2023 年 12 月 28 日.) https://www.digital.go.jp/policies/legal-practice/publictest.

16. 法令 API ハッカソン. (オンライン) (引用日: 2023 年 12 月 28 日.) https://www.digital.go.jp/policies/legalpractice/hackathon .

17. 法制事務のデジタル化及び法令データの整備・利活用に関する調查・実証（中間報告）。第一法規株式会社・FRAIM 株式会社. 2023 年, デジタル関係制度改革検討会デジタル法制ワーキンググループ（第 1 回）資料 4.

18. AI 等を利用した法制事務補助の実験結果について. デジタル庁. 2023 年, デジタル関係制度改革検討会デジタル法制ワーキンググループ（第 1 回）資料 7.
19. アナログ規制の見直し状況に関するダッシュボード. (オンライン) (引用日: 2023 年 12 月 28 日.) https://www.digital.go.jp/resources/govdashboard/administr ative_research/.

20. Better Rules for Government Discovery Report. (オンライン) https://www.digital.govt.nz/dmsdocument/95/html .

21. MohunJames, RobertsAlex. Cracking the code: Rulemaking for humans and machines. 2020.

22. CanmetMINING Team, Natural Resources Canada. Mining for ideas to simplify a complex process. (オンライン) https://digital.canada.ca/2023/10/12/mining-for-ideas-tosimplify-a-complex-process/ .

23. Write rules as code - OpenFisca. (オンライン) https://openfisca.org/en/ .

24. COE Research Monograph Series, Vol. 2: 法令工学の提案. 片山卓也, ほか. 2007 年.

25. OpenAI. GPT-4 Technical Report. 2023.

26. Summary of the Competition on Legal Information, Extraction/Entailment (COLIEE) 2023. Goebel, Randy, et al. 2023, Proceedings of the Nineteenth International Conference on Artificial Intelligence and Law.

27. 生成系 AI と自然言語処理研究. 狩野芳伸. 2023 年, デジタル関係制度改革検討会デジタル法制ワーキンググループ（第 1 回） 資料 6.

28. 人工知能の発展と企業法務の未来 (2 ・上). 角田篤泰. 1111,2017 年, NBL, ページ: 48-54.

29. 法令等データの公開方法・利活用高度化の方向性 (案). デジタル庁. 2022 年, デジタル臨時行政調査会作業部会法制事務のデジタル化検討チーム（第 7 回）資料 2 .

30. 内閣府. 官報の電子化について. (オンライン) 2023 年 12 月 14 日。 https://www.cao.go.jp/press/new_wave/20231214.html .

31. OASIS. OASIS LegalDocumentML (LegalDocML) TC. (オンライン) https://www.oasisopen.org/committees/tc_home.php?wg_abbrev=legaldocml


# 大規模言語モデルを用いた日本語判決書の自動要約

新保彰人 菅原裕太 山田寛章 徳永健伸
東京工業大学 情報理工学院
\{shimbo.a.aa@m, sugawara.y.ag@m, yamada@c, take@c\}.titech.ac.jp

## 概要

日本語判決書の自動要約の需要の高まりに伴って，大規模言語モデル（LLM）によって高品質な判決書の要約文を出力することが期待されている. 本研究では One-shot 文脈内学習に用いるサンプルを近傍事例検索を用いて選ぶ手法を提案する. ベースライン手法と比較し，提案手法を用いることによって判決書要約の精度が高まることを示す。

## 1 背景

日本において，民事判決のデータベース化の構想が進んでいる [1]. 従来データとして公開されていた民事判決は限定的であり，2017 年に下された民事判決のうち裁判所の公式サイトに掲載された判決はわずか $0.03 \%$ であった [2]. 今後データベース化が進むと今までに比べて膨大な数の判決書にアクセスできるようになり，司法分野の業務に対して自然言語処理の活用による自動化・効率化の必要性が高まる. 自動要約はそのような活用の一つである.

今日，判例集に掲載される判決書の多くには，事案の概要・裁判所の判断・判断の理由を法律の専門家が要約した判示事項（例：表 3）が付与されている. 判示事項は弁護士や裁判官などが事例を分析する際の手掛かりとなるが，今後利用可能になると見込まれる大量の判決書全てに対して人手で判示事項を記述するのは困難になると考えられる. このような背景から判決書の自動要約の需要が高まっている.

近年，LLMは要約を含む多様なタスクにおいて高い精度を記録している. Few-shot 文脈内学習は LLM を活用する手法の一つであり，入力文と一緒にタスクのサンプルを入力する. 先行研究では, Few-shot 文脈内学習におけるサンプルの選び方はモデルのパフォーマンスに影響すると報告されている $[3,4]$.本研究では近傍事例検索を用いて要約したい判決書に似ている判決書をサンプルとして選ぶ手法を提案
する. 判決書は文書長が非常に長く, 複数のサンプルを入力するのは非現実的であることから，本研究では 1 つのみのサンプルを入力する One-shot 文脈内学習を対象として実験する. 提案手法の他に，ファインチューニングを行う手法の実験も行いそれらのパフォーマンスとコストの比較を行う.

## 2 データセット

実験には株式会社 LIC によって提供されたデータセットを用いる。このデータセットは学習セット，検証セット，テストセットからなり合計で 84,938 文書を含む.このデータセットの中から実験に適した判決書を得るため以下の基準で文書を選別した。

文書長 : データセットには非常に長い判決書が含まれ，平均トークン長は 11,245であり，最大トー クン長は $1,087,405$ に及ぶ. 一方で本研究で利用する GPT-3.5-turbo-16k-0613 [5] の最大入力長は 16,384 トークンであるため，モデルの入力長制限に適した判決書のみ抽出する. 入力長制限のうち $5 \%$ をプロンプトとサンプル要約と出力要約のために割り当て，残りの 95\%をサンプル判決書と要約したい判決書にそれぞれ半分ずつ割り当てることにした. したがって判決書のトークン長の上限を入力長制限の $47.5 \%$ ，すなわち 7,782トークンとして抽出した. トークナイザは cl100k_base エンコーディングに基づく tiktoken トークナイザ1)を利用した.この条件で抽出すると 47,584 判決書が残り，平均トークン長は 3,637 となった.

様式 : 判決書には平成 2 年 1 月以降から使われている新様式とそれ以前から使われている旧様式が存在する [6]. 今後公開される判決書の多くでは新様式となることが見込まれるため，旧様式を除外する.この結果, 判決書数は 47,584 から 6,713 に減少した.

民事訴訟の種類：民事訴訟にはいくつかの種類があり，このデータセットには 58 種類が含まれる.

1) https://github.com/openai/tiktoken
表 1 選別後の判決書数

多い順に 3 つを並べると，民事通常訴訟事件，民事控訴事件，民事抗告事件であり，これらだけでデー タセットの $68.2 \%$ を占める. 控訴事件と抗告事件は要約のために第一審の情報が必要になる可能性があるが，判決書ではその情報は省略されているため控訴事件と抗告事件の要約は難しい. このため, 本研究では民事通常訴訟事件のみを対象とすることとした.この選別の結果 2,587 判決書が残った.

選別後の判決書数を表 1 に示す. このデータセッ卜に含まれる判決書には法律の専門家によって書かれた判示事項が付属している. 判示事項は事案の概要と裁判所の判断と判断の理由の 3 つの要素を要約したテキストである.

## 3 手法

本論文では OneShot-NN と Regeneration の 2 つの手法を提案する. どちらの手法も要約元の判決書に似た判決書をサンプルとして選ぶ手法である. それらに加えてファインチューニングの実験も行う．

## 3.1 OneShot-NN

要約元の判決書に似ている判決書を見つけるために，文書埋め込みに基づく近傍事例検索を用いる。文書同士の類似度は埋め込みのコサイン類似度で計算する.しかし, 本研究で扱う判決書は平均で 4,393 文字の長い文書であるため, 判決書全体を埋め込むのは現実的ではない. そこで OneShot-NNでは判決書中に含まれる事案の概要（例：表 3）を用いて埋め込みを得る. 事案の概要は判決書中で述べられている事実と争点を要約したテキストであり，判決書の冒頭部分に記述されていることが多い. 事案の概要は判示事項とは異なり, 裁判所の判断と判断の理由を含まないため判示事項を代替できない.事案の概要は以下の方法で抽出する.

1. 文字列「事案の概要」を判決書中で検索する.

2. 文字列「事案の概要」を含む行とそれに続く 4 行から，正規表現「本件は.+。」にマッチする文字列を抽出する。

以上の方法で抽出した事案の概要を使って, 学習セットから近傍事例を抽出する。そのために実験準備として学習セットの各判決書の事案の概要の埋め込みを計算しておく，準備しておいた学習セットの各判決書の事案の概要の埋め込みと, 要約元の判決書の事案の概要の埋め込みの間のコサイン類似度を計算して, 最もコサイン類似度が高い判決書を学習セットから選ぶ.このようにして選ばれた判決書とその判決書に付されている判示事項を One-shot 文脈内学習におけるサンプルとして用いる. 埋め込みモデルとして Multilingual-E5-Large [7]を利用する。埋め込みの次元は 1,024 である.

事案の概要は正規表現で抽出できない場合があり，そのような場合は次の 2 つの方法でサンプルを選ぶ. RandomDefault では学習セットからランダムにサンプルを選ぶ。一方で，FixedDefault では次の方法で事前に選んだサンプル $s_{\text {best }}$ を固定して使う.

1. ランダムに 100 判決書 $S$ をサンプル候補として学習セットから選ぶ.

2. ランダムに 10 判決書 $T$ を要約元判決書として学習セットから選ぶ.

3. 各 $t \in T$ を各 $s \in S$ をサンプルとして用いて要約する. 出力要約文を $\operatorname{Summary}(s, t)$ とする.
4. $s_{\text {best }}=\operatorname{argmax}_{s \in S} \operatorname{Score}(\operatorname{Summmary}(s, t))$ として $s_{\text {best }}$ を選ぶ. ただし Score(.) は Summary $(s, t)$ の標準化された ROUGE-1,2,3,Lと BERTScore の和である.

## 3.2 Regeneration

Regeneration(-Regen) は OneShot-NN や他のベースライン手法に追加して行われるモジュールである. この手法では事案の概要ではなくモデルが生成した判示事項を利用して近傍事例検索を行う. 判示事項は事案の概要に含まれない情報を含むため，事案の概要を用いて近傍事例検索を行う場合よりも効果的なサンプルを選ぶことができると期待する.

準備として, 学習セット中の人手で書かれた判示事項の埋め込みを得る. 要約を行う際には，まず何らかの方法で要約文を生成し, その要約文の埋め込みを得る。その埋め込みを利用して OneShot-NN と同様の方法で学習セットから近傍事例を抽出して，抽出された近傍事例を One-shot サンプルとして利用して再び要約文を生成する. Regeneration は何度も繰り返して適用できる手法であるが，複数回繰り返す実験を行っても有意な改善が見られなかったことから 1 回適用した場合の結果のみを報告する。

さらに，本論文では Regeneration の派生手法として SelectiveRegeneration(-SelectiveRegen) を提案する.この手法では OneShot-NN において事案の概要が抽出できなかった場合のみ，Regenerationを行う。

## 3.3 Fine-tuning

Fine-tuning では学習セットを使ってLLMをファインチューニングする.

## 3.4 ベースライン

ベースライン手法として 3 種類の実験を行う. ZeroShot は最も単純な手法で, サンプルを入力せず要約元の判決書のみを入力する. OneShot-Random はランダムに選んだ判決書とその判示事項をサンプルとして入力する. OneShot-Fixed では OneShotNN-FixedDefault（3.1）で事前に選んだ判決書と同じものをサンプルとして入力する.

OneShot-Fixed で利用するサンプルは，事前の少量データ実験で質の高い要約文を出力することを確認しているため, OneShot-Fixed は OneShot-Random よりも高い精度となることが期待できる.

## 4 実験設定

要約モデルとして GPT-3.5-turbo-16k-0613を採用する。ただし，Fine-tuning では GPT-3.5-turbo-16k1106 を採用する. パラメータは temperature を 0 に設定し，他のパラメータはデフォルトとする．システムプロンプトは「あなたは法律の専門家です。あなたは判決文の要約文を書く専門家です。訴訟費用の負担については言及しないでください。敬語は絶対に使わないでください。裁判所視点で要約してください。主語は裁判所にしてください。」とし， ユーザプロンプトは「次の判決文はどのような事例を扱ったものか教えてください。50 字程度で書いてください。敬語は絶対に使わないでください。」 とする．事前の実験で良い出力が得られることを確認したため，これらのプロンプトを選定した. 各手法は 5 回ずつ行い，それらの平均の結果を報告する. ZeroShotではユーザプロンプトと要約元の判決書を結合して入力する. OneShot ではユーザプロンプト，サンプル判決書，サンプル判示事項，ユーザプロンプト，要約元の判決書を結合して入力する. Fine-tuning は OpenAI API を利用して行った. モデルの学習時は ZeroShot と同様にモデルに入力し, モデルの出力の正解テキストとして判示事項を与え
る. 推論時は ZeroShot と同様にして要約文を得る. ファインチューニングは 3 エポック行う.

## 5 結果

実験結果を表 2 に示す.人手で書かれた判示事項を正解データとして，モデルが生成した要約文と比較して ROUGE-1,2,3,L と BERTScore で評価した. ROUGE の值は F1 值を計算している。表中の値は 5 回実験した平均を示す. 太字は最も良い値を示す.

Fine-tuning が最も良いスコアを示した。学習セッ卜全体を利用して学習を行っているのは Fine-tuning だけであり，モデルのパラメータの更新を伴うため，最高のスコアを達成したと考えられる．以下では, Fine-tuning 以外の手法のみを比較して議論する。

OneShot-Fixed は全ての指標で OneShot-Random よりも高い值を記録しているが，OneShot-NNFixedDefault は OneShot-NN-RandomDefault よりも低い結果を記録している. OneShot-NN-FixedDefault で選ばれたサンプルはランダムに選ばれたサンプルよりも，効果的であると期待したが結果は期待に反するものとなった.この結果は普遍的に有用な One-shot サンプルを事前に選ぶことが困難であることを示唆している.

OneShot-NN と Regeneration は異なるテキストを基にして要約元の判決書に似ている判決書を検索する. 判示事項の方がより多くの情報を含むため，判示事項を利用して近傍事例検索を行う Regeneration の方がより良い結果を記録すると期待したが，結果は期待に反したものとなった. OneShot 系モデルにおいて，NN または Regeneration の何れかのみを行う手法間で比較すると，NN 適用モデルがより良い結果を示した. また，Fine-tuning 以外の手法の中で最も良い結果を示したのは SelectiveRegeneration であった。したがって，一般に判示事項生成のための近傍事例探索の手掛かりとしては事案の概要が有用であるものの，判示事項の利用ができない場合にはモデルが出力した判示事項を利用して近傍事例検索をすることが有効であることが確認できた。

ここで，コストについて比較する。 OpenAI APIのコストは 2023 年 1 月 9 日現在のものである. 今回の実験設定でファインチューニングに必要な API 利用コストは約 1,064 ドルである。一方，本研究で実験した他の手法ではこのコストはかからない. さらにファインチューニングして構築したモデルを利用する際はトークンあたりのコストが高くな

る. ZeroShot では 1 判決書につき平均で約 0.0056 ドルかかるが，Fine-tuning では 3 倍の約 0.017 ドルかかる. OneShot の設定では ZeroShot の約 2 倍の 0.011 ドル程度がかかるが, Fine-tuning よりコストは小さい. ただし OneShot-Regenerationを行う場合は，2 回モデルを推論に使うことになるため，通常の OneShot の 2 倍の 0.22 ドルが 1 判決書あたりのコストとなり Fine-tuning の推論コストを上回る。コストとパフォーマンスのバランスを考慮すると， ファインチューニングのコストを許容できる場合は Fine-tuning の手法を採用し，許容できない場合は OneShot-NN-FixedDefault-SelectiveRegen などの手法を採用するのが望ましいと考えられる。

## 6 関連研究

文書要約は抽出型要約と抽象型要約に大別され，法律ドメインでも両者の研究が行われている. 抽出型要約の既存研究として, 阪野ら [8] の研究がある.阪野らは「手がかり表現」というキーワードを用いて，判決書中の段落を「事実関係」や「論旨」などの要素に分類してから重要文を抽出する手法を提案している。また, Agarwal ら [9] はアメリカの判決書を対象として言語モデルを用いた抽出型要約の手法を提案している. 抽象型要約の研究として Elaraby ら [10] の研究が挙げられる. この研究では seq 2 seq モデルで要約する前に，各文の役割を特殊トークンでアノテーションすることによって, 生成される要約文の質が高まることが報告されている.

LLM を用いて法律関係の文書を利活用する研究
も行われている. Deroy ら [11] の研究ではインドの判決書を対象とし，LLMを用いた判決書の自動要約が可能かを検証している. Zin ら [12] の研究では LLM を用いて日本語の契約書から情報を抽出する手法を提案している. この研究では抽出したい情報のクエリを入力するクエリ指向要約というアプロー チをとっている.

## 7 結論

本論文では，近傍事例検索で One-shot 文脈内学習のサンプルを選ぶ際に判決書中に含まれる事案の概要を利用することが有用であることを示した。また，モデルが出力した要約文を利用した近傍事例検索が有用であることも示した. さらに，ファインチューニングが他の手法よりも優れた結果を示すことを確認し，各手法のコストの比較をした。

今後の展望としては, One-shot サンプルを選ぶ他の方法の検討が考えられる. 例えば，サンプルを選択するモデルを強化学習によって学習する方法が考えられる。強化学習では ROUGE などの値を報酬として設定することにより，これらのスコアを改善することを目標とする学習を行うことができるため， より質が高い要約を得られる可能性がある.

出力文における幻覚 (hallucination) の解消も今後の課題として挙げられる. 幻覚は自動評価で捉えるのが難しく，人手による評価が必要であると考えられる.このため，モデルの出力に対して法律の専門家のフィードバックを貪い，どのような幻覚があるかを分析する予定である.

## 謝辞

本研究は株式会社 LIC の支援を受けたものである.

## 参考文献

[1] 民事判決情報データベース化検討会について. https://www.moj.go.jp/content/001382374. pdf. Accessed: 2014-01-10.

[2] 谷川和幸. 判例情報のオープンデータ化.

[3] Subha Vadlamannati and Gözde Gül Sahin. Metric-based in-context learning: A case study in text simplification. In INLG Oral Session 3: Leveraging Large Language Models for NLG, 2023.

[4] Rajaswa Patil, Manasi Patwardhan, Shirish Karande, Lovekesh Vig, and Gautam Shroff. Exploring dimensions of generalizability and few-shot transfer for text-tosql semantic parsing. In Alon Albalak, Chunting Zhou, Colin Raffel, Deepak Ramachandran, Sebastian Ruder, and Xuezhe Ma, editors, Transfer Learning for Natural Language Processing Workshop, 03 December 2022, New Orleans, Louisiana, USA, Vol. 203 of Proceedings of Machine Learning Research, pp. 103114. PMLR, 2022.

[5] OpenAI. Openai gpt-3 api [gpt-3.5-turbo]. https://platform.openai.com/docs/guides/ text-generation/chat-completions-api, 2023.

[6] 家腹尚秀. 民事判決書の在り方についての一考察. 東京大学法科大学院ローレビュー編集委員会, 2015. http://www.sllr.j.u-tokyo.ac.jp/10/ papers/v10part05(iehara).pdf.

[7] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu Wei. Text embeddings by weakly-supervised contrastive pre-training. CoRR, Vol. abs/2212.03533, 2022.

[8] 阪野慎司, 松原茂樹, 吉川正俊. 手がかり表現に基づく判決文の自動要約. Nagoya, Japan, March 2005. 言語処理学会第 11 回年次大会.

[9] Abhishek Agarwal, Shanshan Xu, and Matthias Grabmair. Extractive summarization of legal decisions using multitask learning and maximal marginal relevance. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 1857-1872, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.

[10] Mohamed Elaraby and Diane Litman. ArgLegalSumm: Improving abstractive summarization of legal documents with argument mining. In Nicoletta Calzolari, Chu-Ren Huang, Hansaem Kim, James Pustejovsky, Leo Wanner, Key-Sun Choi, Pum-Mo Ryu, Hsin-Hsi Chen, Lucia Donatelli, Heng Ji, Sadao Kurohashi, Patrizia Paggio, Nianwen Xue, Seokhwan Kim, Younggyun Hahm, Zhong He, Tony Kyungil Lee, Enrico Santus, Francis Bond, and Seung-Hoon Na, editors, Proceedings of the 29th International Conference on Computational Linguistics, pp. 6187-6194, Gyeongju, Republic of Korea, October
2022. International Committee on Computational Linguistics.

[11] Aniket Deroy, Kripabandhu Ghosh, and Saptarshi Ghosh. How ready are pre-trained abstractive models and $11 \mathrm{~ms}$ for legal case judgement summarization? In Jack G. Conrad, Daniel W. Linna Jr., Jason R. Baron, Hans Henseler, Paheli Bhattacharya, Aileen Nielsen, Jyothi K. Vinjumur, Jeremy Pickens, and Amanda Jones, editors, Proceedings of the Third International Workshop on Artificial Intelligence and Intelligent Assistance for Legal Professionals in the Digital Workplace (LegalAllA 2023) co-located with the 19th International Conference on Artificial Intelligence and Law (ICAIL 2023), Braga, Portugal, June 19, 2023, Vol. 3423 of CEUR Workshop Proceedings, pp. 8-19. CEUR-WS.org, 2023.

[12] May Zin, Ha-Thanh Nguyen, Ken Satoh, Saku Sugawara, and Fumihito Nishino. Information extraction from lengthy legal contracts: Leveraging query-based summarization and gpt-3.5. In JURIX 2023: The Thirty-sixth Annual Conference, Maastricht, the Netherlands, 18-20 December 2023, Vol. 379 of Frontiers in Artificial Intelligence and Applications, pp. 177-186. IOS Press, 2023.

## 判示事項と事案の概要の例

表 3 判示事項と事案の概要の例

判示事項原告が被告に対し, 主位的に，通行地役権に基づき，予備的に，債権者代位権に基づく通路所有者の権利の代位行使として，通行妨害行為の禁止を求めた事案で，原告の通行地役権の行使は，被告車両の駐車により妨霎されているとはいえないから，原告に，本件通路土地所有者である乙を代位して，妨害排除ないしは引渡しを請求することを認めるべき合理的理由はなく, 原告の権利を保全するため，債権者代位権の行使を認める必要はないとした事例

事案の概要本件は，原告が被告に対し，主位的に，通行地役権に基づき，予備的に，債権者代位権に基づく通路所有者の権利の代位行使として，通行妨害行為の禁止を求めた事案である。

## 各手法の出力例

表 4 各手法の出力例


# GPTs and Language Barrier: A Cross-Lingual Legal QA Examination

Nguyen Ha Thanh ${ }^{1}$ Hiroaki Yamada ${ }^{2} \quad$ Ken Satoh $^{1}$
${ }^{1}$ National Institute of Informatics
${ }^{2}$ Tokyo Institute of Technology
\{nguyenhathanh,ksatoh\}@nii.ac.jp yamada@c.titech.ac.jp
}

\begin{abstract}
In this paper, we explore the application of Generative Pre-trained Transformers (GPTs) in cross-lingual legal Question-Answering (QA) systems using the COLIEE Task 4 dataset. In the COLIEE Task 4, given a statement and a set of related legal articles that serve as context, the objective is to determine whether the statement is legally valid, i.e., if it can be inferred from the provided contextual articles or not, which is also known as an entailment task. By benchmarking four different combinations of English and Japanese prompts and data, we provide valuable insights into GPTs' performance in multilingual legal QA scenarios, contributing to the development of more efficient and accurate cross-lingual QA solutions in the legal domain.
\end{abstract
## 1 Introduction

The rapid increase in cross-border transactions and the globalization of legal systems have highlighted the importance of effective legal information retrieval across various languages. Legal Question-Answering (QA) systems assist professionals and individuals in locating relevant legal resources and extracting information to resolve disputes, comply with regulations, or make informed decisions. However, the vast amount of legal information available in diverse languages poses significant challenges to the development of efficient and accurate cross-lingual QA systems.

Current legal QA systems predominantly focus on monolingual information retrieval, which limits their capacity to address the needs of an increasingly multilingual and multicultural user base. Developing cross-lingual legal QA systems necessitates a deep understanding of not only the linguistic nuances but also the cultural and legal differences between the source and target languages. This requires advanced natural language processing techniques and robust models to accurately and effectively retrieve relevant information across languages.

In this study, we aim to investigate the potential of Generative Pre-trained Transformers (GPTs) in addressing the aforementioned challenges in cross-lingual legal QA systems. We utilize the COLIEE Task 4 dataset, which is derived from the Japanese Bar Exam and originally in Japanese, with the English version professionally translated by legal experts. The dataset comprises legal QA data related to entailment tasks in both languages. Task 4 involves determining the legal validity of a given statement based on a set of contextual legal articles. We evaluate the performance of GPTs under various settings, including different combinations of prompts and data across these languages, to gain insights into their effectiveness in crosslingual legal QA scenarios.

Our research contributes to the broader understanding of GPTs' capabilities and limitations in cross-lingual legal QA scenarios, potentially paving the way for the development of more efficient and accurate multilingual legal QA systems. It also contributes to bridging the language gap in the legal domain, ultimately making legal information more accessible and comprehensible for users, regardless of their linguistic background.

## 2 Related Work

Research in the legal domain has presented numerous challenges for the Natural Language Processing (NLP) community, primarily due to the complexity of legal language and the need for contextual understanding in legal reasoning. As such, numerous studies have been conducted
to improve the capacity of NLP models for legal tasks.

Legal textual entailment, a prominent area of research, has utilized the COLIEE Task 4 dataset [1,2] as a crucial benchmark. Various methods have been employed to tackle this task, including traditional NLP techniques such as keyword-based matching [3] and rule-based systems [4] for information extraction and entailment identification from legal documents. However, these approaches may suffer from rigidity in methodology and limited flexibility in responding to subtle changes in language patterns and context.

With the advent of word embeddings like Word2Vec [5] and transformers, such as BERT [6], RoBERTa [7], and ALBERT [8], NLP made significant advancements, leading to improved performance across various legal tasks. As a result, there have been studies on different tasks like legal lawfulness classification [9], information extraction [10], question-answering [11], and multi-task learning [12] that leverage these techniques.

Few-shot learning and few-relational learning strategies have also been introduced in legal entailment tasks [13,14]. With these approaches, models can learn from a limited amount of labeled data to generalize for unseen cases, which is invaluable given the scarcity of high-quality, annotated legal documents.

Recent GPT models have shown impressive performance in various NLP tasks, including statutory reasoning tasks $[15,13,16]$, further demonstrating their applicability in the legal domain. GPT-4, specifically, has delivered remarkable results on the Uniform Bar Examination (UBE) [17], showcasing the potential of GPT models in various legal reasoning tasks $[18,19]$.

Building upon these advancements, our study aims to evaluate the performance of GPT-3.5 and GPT-4 on the legal textual entailment task using the COLIEE dataset, focusing on both monolingual and cross-lingual aspects. We analyze the models' performance across different dataset versions, ranging from Heisei 18 (2006) to Reiwa 3 (2021), to gain a better understanding of the potential challenges and capabilities of these state-of-the-art models in the complex legal domain. This in-depth analysis, along with the exploration of cross-lingual and global law aspects, provides valuable insights into the prospects of employing GPT models in legal QA systems for various languages and jurisdictions.

Table1 Number of questions for each year in the dataset.

## 3 Experiment Design

In this section, we detail the experimental settings used to evaluate the performance of GPT-4 and GPT-3.5 models in monolingual and cross-lingual scenarios. We utilize the COLIEE Task 4 dataset, which provides legal questions and answers in both English and Japanese.

## 3.1 Data Analysis

The dataset comprises data from different years: H29, $\mathrm{H} 30, \mathrm{R} 01, \mathrm{R} 02$, and $\mathrm{R} 03$, with a varying number of questions each year, as displayed in Table 1.

Further, we present the length statistics of the dataset in English and Japanese languages in Tables 2 and 3, respectively. The statistics provide insights into the dataset's characteristics, giving us a better understanding of the textual complexity and sizing in each language.

Table2 English dataset character length statistics.

The data indicate ranges of average lengths for context in English and Japanese as follows:
- English context length varies from 525 characters (H30) to 703 characters (R03).
- Japanese context length ranges from 110 characters (H30) to 213 characters (R03).

English question average lengths fluctuate between 200 characters (R01) and 273 characters (H29), while Japanese question lengths range from 72 characters $(\mathrm{H} 30)$ to 88 characters (R02). Analyzing these variations in average lengths

Table3 Japanese dataset character length statistics.

of both context and question in different years is important since it provides insights into the dataset's complexity and potential text processing challenges.

Looking at Tables 2 and 3, we can see that the maximum length of context is 4,048 characters and that of questions is 847 characters, which is considerably less than the token limit of GPT-4 (0314) at 8,192 tokens and GPT-3.5 (Turbo) at 4,191 tokens. Additionally, it should be noted that one token may contain one or more characters ${ }^{1)}$.

## 3.2 Monolingual and Cross-lingual Prompting

We formatted the input prompt as follows for monolingual prompting:

Prompt in English:

\{context \}
Question: \{question \}

Answer ( $\mathrm{Y}$ or $\mathrm{N}$ ), no explain.

Prompt in Japanese:

\{context \}

質問：\{question\}

回答 ( $Y$ または $N$ )、説明は不要。

Here, context represents the relevant articles, and question corresponds to a given question in the dataset. This prompt format ensures consistency in the input and allows the models to focus solely on providing a binary answer-either "Y" (YES) or "N" (NO).

In our experiments, we explore different combinations of context and question languages, yielding four distinct settings: English context and English question (EN-EN), Japanese context and Japanese question (JA-JA), and two cross-lingual settings: English context with Japanese question (EN-JA) and Japanese context with English question (JA-EN).

By evaluating the models in both monolingual (EN-EN, JA-JA) and cross-lingual (EN-JA, JA-EN) settings, we aim

1) https://github.com/openai/tiktoken to assess how well GPT-3.5 (ChatGPT) and GPT-4 can handle linguistic nuances, cultural differences, and mappings between languages in the legal domain. This information will provide valuable insights into their potential for deployment in multilingual legal QA systems.

With a focus on GPT-4 and GPT-3.5 models, our experiments aim to examine their performance under these diverse conditions, providing valuable insights into their potential for deployment in multilingual legal QA systems.

## 4 Experimental Results

In Table 4 and Figure 1, we compare the performance of GPT-4 (gpt-4-0314) and GPT-3.5 (gpt-3.5-turbo) in monolingual and cross-lingual settings. The temperature is set at 1 , Top $\mathrm{P}$ is set at 1 , the frequency penalty is 0 , and the presence penalty is 0 for both models. While it is important to note that the years $\mathrm{H} 29$ to $\mathrm{R} 03$ are independent and not related, we can still observe certain trends and patterns in the results.

It is evident that the GPT-4 model consistently outperforms the GPT-3.5 model across all independent yearly instances in both monolingual and cross-lingual settings. This superior performance could be attributed to the advancements in the model architecture and higher capacity, allowing GPT-4 to capture the complexities of the languages and tasks more effectively.

Furthermore, monolingual settings generally yield higher accuracy scores than cross-lingual settings for both models. This can be attributed to the fact that monolingual settings tend to be more straightforward, not requiring translation within the same language. On the other hand, cross-lingual settings involve handling linguistic nuances, cultural differences, and complex mappings between languages, making the task more challenging for even advanced models like GPT-4 and GPT-3.5.

The observation that Japanese monolingual performance is better than English monolingual performance can also be explained by the nature of the original data being in Japanese. Given that the source data is in Japanese, it is reasonable to infer that the models may have been more effective in understanding and processing the original data in Japanese text. The derived English translations primarily serve as reference material and might not capture the fine-grained nuances as effectively as the original Japanese text, contributing to the observed difference in perfor-

Table4 Performance Comparison in Monolingual and Cross-Lingual Settings by GPT-3.5 and GPT-4.

Figure1 Performance Comparison Data Visualization.

mance. This observation is also consistent with the results of COLIEE competitions in recent years, where teams using Japanese as their primary language tend to outperform those using English [1, 2].

This finding aligns with the, earlier mentioned, superior performance of monolingual settings compared to crosslingual ones and highlights the importance of having highquality translated material and a deep understanding of the languages involved when working with cross-lingual tasks. It also emphasizes the challenges faced by models like GPT-4 and GPT-3.5 in adapting to and dealing with different natural languages and contextual information, further motivating research and development efforts to improve their performance for cross-lingual tasks.

The experimental results demonstrate the prowess of the GPT-4 model over its predecessor, GPT-3.5, in both monolingual and cross-lingual settings. As advancements in model architecture and training techniques continue to be made, we can expect further performance improvements. However, achieving human-level performance in cross-lingual settings remains a challenge and may demand more significant advancements in model design, access to high-quality datasets, and a deeper understanding of the complexities involved in cross-lingual tasks.

## 5 Conclusions

In this study, we evaluated GPT-3.5 and GPT-4 models in cross-lingual legal Question-Answering using the COLIEE Task 4 dataset. Our findings showed the superior performance of GPT-4 over GPT-3.5 and highlighted the challenges faced by GPT models in handling linguistic nuances in cross-lingual settings. These insights contribute to the development of more accurate cross-lingual QA systems in the legal domain and emphasize the importance of high-quality translation and deep understanding of linguistic complexities. Future research should focus on improving GPT models' cross-lingual capabilities and incorporating domain-specific knowledge tailored to the legal field.

## Acknowledgements

This work was supported by the AIP challenge funding related with JST, AIP Trilateral AI Research, Grant Number JPMJCR20G4.

## References

[1] Juliano Rabelo, Mi-Young Kim, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken Satoh. A summary of the COLIEE 2019 competition. In New Frontiers in Artificial Intelligence, pp. 34-49, Online, 2020. Springer International Publishing.

[2] Juliano Rabelo, Randy Goebel, Mi-Young Kim, Yoshinobu Kano, Masaharu Yoshioka, and Ken Satoh. Overview and discussion of the competition on legal information extraction/entailment (coliee) 2021. The Review of Socionetwork Strategies, Vol. 16, No. 1, pp. 111-133, feb 2022.

[3] Yoshinobu Kano. Keyword and snippet based yes/no question answering system for coliee 2015. In Ninth International Workshop on Juris-informatics (JURISIN), 2015.

[4] Guilherme Moraes Rosa, Ruan Chaves Rodrigues, Roberto Lotufo, and Rodrigo Nogueira. Yes, bm25 is a strong baseline for legal case retrieval. arXiv preprint arXiv:2105.05686, 2021

[5] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv: $1810.04805,2018$

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 2019

[8] Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, and Radu Soricut. Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942, 2019.

[9] HT Nguyen, V Tran, and LM Nguyen. A deep learning approach for statute law entailment task in coliee-2019. Proceedings of the 6th Competition on Legal Information Extraction/Entailment. COLIEE, 2019.

[10] May Myo Zin, Nguyen Ha-Thanh, Satoh Ken, Sugawara Saku, and Fumihito Nishino. Improving translation of case descriptions into logical fact formulas using legalcasener. In Proceedings of the 19th International Conference on Artificial Intelligence and Law - ICAIL 2023, pp. 462-466, 2023.

[11] Phi Manh Kien, Ha-Thanh Nguyen, Ngo Xuan Bach, Vu Tran, Minh Le Nguyen, and Tu Minh Phuong. Answering legal questions by learning neural attentive text representation. Proceedings of the 28th International Conference on Computational Linguistics, pp. 988998, 2020 .
[12] Thi-Hai-Yen Vuong, Hai-Long Nguyen, Tan-Minh Nguyen, Hoang-Trung Nguyen, Thai-Binh Nguyen, and Ha-Thanh Nguyen. Nowj at coliee 2023-multi-task and ensemble approaches in legal information processing. Proceedings of the 10th Competition on Legal Information Extraction/Entailment. COLIEE, 2023.

[13] Bilgin Onur, Fields Logan, Laverghetta Jr. Antonio, Marji Zaid, Nighojkar Animesh, Steinle Stephen, and Licato John. Amhr lab 2023 coliee competition approach. Proceedings of the 10th Competition on Legal Information Extraction/Entailment. COLIEE, 2023.

[14] Guilherme Moraes Rosa, Luiz Bonifacio, Vitor Jeronymo, Hugo Abonizio, Roberto Lotufo, and Rodrigo Nogueira. Billions of parameters are worth more than in-domain training data: A case study in the legal case entailment task. arXiv preprint arXiv:2205.15172, 2022.

[15] Andrew Blair-Stanek, Nils Holzenberger, and Benjamin Van Durme. Can gpt-3 perform statutory reasoning? arXiv preprint arXiv:2302.06100, 2023.

[16] チェジョンミン, 笠井淳吾, 坂口慶祐. 日本の司法試験を題材とした gpt モデルの評価.

[17] Daniel Martin Katz, Michael James Bommarito, Shang Gao, and Pablo Arredondo. Gpt-4 passes the bar exam. Available at SSRN 4389233, 2023.

[18] Ha-Thanh Nguyen, Wachara Fungwacharakorn, and Ken Satoh. Logilaw dataset towards reinforcement learning from logical feedback (rllf). In JURIX 2023: The 36th International Conference on Legal Knowledge and Information Systems, Vol. 379 of Frontiers in Artificial Intelligence and Applications, pp. 217-226, 2023.

[19] Ha Thanh Nguyen, Randy Goebel, Francesca Toni, Kostas Stathis, and Ken Satoh. Lawgiba - combining gpt, knowledge bases, and logic programming in a legal assistance system. In JURIX 2023: The 36th International Conference on Legal Knowledge and Information Systems, Vol. 379 of Frontiers in Artificial Intelligence and Applications, pp. 371-374, 2023.


# 民事第一審判決書のXMLデータ化

前田郁勝 ${ }^{1}$ 外山勝彦 ${ }^{2}$ 小川泰弘 ${ }^{3}$
 }^{1}$ 元名古屋高裁判事 ${ }^{2}$ 名古屋大学大学院情報学研究科 ${ }^{3}$ 名古屋市立大学

?????????????????
## 概要

現時点において，民事判決書の公開状況は，最高裁判所ないし各省庁が言い渡された判決のごく一部を pd f データないしh t m lデータで公開されているにとどまり，裁判書の検索，内容の分析を行うのに適したデータ形式となっていない。また, 法務省において民事判決の全件データベース化に向けて検討が進められており, 情報工学的な観点から, どのようなデータ形式が望ましいかを検討する必要があると考えられる。そこで，民事判決の構造を踏まえて，民事判決書のXMLデータ化を検討するとともに，最高裁判所ホームページ（以下「最高裁H P 」 という。） ${ }^{i}$ から取得した民事第一審判決書のXML データ化を試みた。

## 1 はじめに

現時点の民事判決の公開状況は, 最高裁H P において，地裁，高裁，最高裁の裁判例が $\mathrm{p} \mathrm{d} \mathrm{f}$ データで公開されているほか, 一部省庁が, それぞれ所轄分野の裁判例を $\mathrm{pd} \mathrm{f}$ データないしh t m l データで公開している（国税庁：税務訴訟資料, 総務省:情報公開 - 個人情報保護関係資料, 法務省: 訟務重要判例集, 厚生労働省: 労働基準関係判例, 労働委員会関係の命令・裁判例）。その他，民間業者による有償の判例検索サービスが提供されている。

情報工学的手法により, 判決書を適切に検索したり, その内容を解析するためには, 公開される判決書データは機械的に分析できるデータ形式が望ましいと考えられる。

この点について，令和 2 年 3 月 10 日民事司法制度改革推進に関する関係府省庁連絡会議申合せにおいては，民事判決情報を広く国民に提供することの意義として，国民に対する司法の透明性向上，国民に対する行動規範 - 紛争解決指針の提示, 紛争解決をサポートするＡＩの研究・開発等の意義が指摘さ

れたii. また, 民事訴訟手続の改正 (令和 4 年法律第 48 号）により，判決書が電磁的記録をもって作成されることが定められ（同改正後の民訴法 160 条 1 項，252 条 1 項），現在，法務省において，「民事判決情報データベース化検討会」が設置され，民事判決を全件データベース化すること，その際の仮名処理や情報管理の在り方等が検討されている ${ }^{i i i}$.

民事判決の全件公開により，年間約 20 万件の民事判決が公開されることが想定され, それに伴って,裁判例のデータ分析が進むことが想定される.

裁判所が行う裁判には, 大きく分けて, 民事裁判,行政事件，家事事件，刑事裁判があり，裁判の中でも，判決，決定，命令という形式があるが，本研究においては，上記の経緯を踏まえ，私人間の紛争を扱う民事判決を対象とし，そのデータ形式としてX MLデータ化を提言するものである．なお，我が国の司法制度が三審制であることから，民事判決についても第一審，第二審，第三審の判決があるが。この中で最も件数の多い第一審判決を対象とすることとする。

以下においては，民事判決書の構造，XMLタグ付けの概要, XMLデータ化の実践と課題について,順に述べる.

## 2 民事判決書の構造

## 2.1 在来様式の判決書について

民事判決書には，大きく 2 つ様式があり，平成 2 年頃までの「在来様式」，その後提唱された「新様式」が存する.

新様式の判決書を冒頭から順に見ていくと，以下のとおり，事件の特定に関する事項（事件番号，事件名等），「判決」との標題，事件に関わった当事者・代理人等，「主文」の標題の下に判決の結論を示す主文の内容，「事実及び理由」との標題の下に

当事者の請求, 主張, 裁判所の判断理由が記載され,末尾に裁判所・裁判官名が記載される.

なお，「事実及び理由」との標題は，民訴法 25 3 条に定められた判決書の記載事項の「事実」及び

「理由」を意味するものであり，「事実」の記載においては, 当事者の請求と主文が正当であることを示すのに必要な主張を摘示することが求められる.

【新様式判決書の例】

## 2.2 在来様式の判決書から新様式について

新様式の判決書が提唱される以前の在来様式の判決書は, 新様式の判決書の「事実及び理由」の部分を，以下のとおり「事実」と「理由」に分けて記載していた.

在来様式判決書と新様式判決書を比較するために.当事者の請求が認められる要件として(A)，(B)，(C)の 3つがあり，(A)と(C)の要件が存することは争いがなく, Bの要件の存否が問題となる事案を例にしてみる. 在来様式の判決書においては, 上記事案の争いのない事項についても，請求原因として(A), (B), (C) の 3 つの事実を記載し, それに対する相手方の認否として「(A)，Cは認めるがBは否認する。」などと記載していた。

しかし，民事裁判において，当事者が真に裁判所の判断を求めている事項 (中心的争点, 上記事案の例では(Bの事実の存否）に焦点を合わせることによって, 判決書はより簡潔で分かりやすくなるとの考えから, 平成 2 年頃, 新様式判決書が提唱されたものである. 新様式判決書によれば, 上記事案の場合,

(A)，Cの事実は前提事実として記載され，Bの事実の存否が争点として記載されることになるから，より争点に絞ったより簡潔な判決書になる.

現在では, 新様式判決による判決書が定着し, 新様式によるものが圧倒的に多い.

## 2. 3 新様式判決書の構造

新様式判決書の記載概要は, 概敢前記の【新様式判決書の例】のとおりであるが，その構造について説明する。

1 「事実及び理由」以外の記載部分について冒頭部分の判決言渡日, 事件番号・事件名, 口頭弁論終結日，「判決」の標題の下の当事者の表記，「主文」の標題及びその下の主文の内容，末尾部分の裁判所名・裁判官名の記載部分は, その標題から記載内容が明膫であり，また，裁判書によって記載形式に大きな差異はない.

なお, 判決言渡日の記載部分は, 裁判所書記官が記載すべき事項であるが(民訴規則 158 条)，判決書のテキストデータ中に一体として記載される場合が多いことから，判決書の一部として扱うこととする.

2 「事実及び理由」中の記載部分についてこの記載部分は，概ね，次の順に記載される。

(1) 事案の要旨 : 紛争の概要や原告の権利主張の内容が簡潔に記載される。
「事案の要旨」と標題を記載する場合もあるが，標題を記載しない場合も多い。

（2）前提事実：当事者間に争いのない事実や証拠により明らかに認められる事実を記載する部分である。この事実は，主文を導く上で前提となるものであるが，その存否が争点となるものではない．

「前提事実」,「争いのない事実」などの標題が記載され, 標題は判決書によって同一ではない.

（3）争点及び争点に関する当事者の主張 : ここにいう争点とは, 主文を導く上で必要となる事実関係に関する争点又は法律上の争点のことであり, その争点に関する当事者の主張が記載される. 争点が 1 つの場合もあれば，複数の場合もあり，争点が複数の場合には, 各争点ごとに当事者の主張が記載される。

「争点及び争点に関する当事者の主張」と標題を設定することもあれば，「争点」「争点に関する当事者の主張」と別々に標題を設定する場合もある. また, 当事者の主張部分の標題として, 「(1)原告の主張」「(2) 被告の主張」などと記載する場合もあれば, 「（原告の主張）」，「（被告の主張）」などと括弧内に記載する場合もある.

（4）当裁判所の判断：争点に対する裁判所の判断を記載する部分であり, 事実関係に争点がある場合には証拠に基づいて事実が認定され, 法律上の争点がある場合には裁判所が採用する見解とその論拠が記載される。

全体の事実経過をまとめて事実認定して物語風に記載した上で各争点に対する判断を記載する判決書もあれば，各争点ごとにその判断必要な限度で事実認定を記載する判決書もある。

3 民事判決書は，上記のように構造的に記載されており, 例えば, 「原告は被告と本件不動産につき売買契約を締結した.」という文章があったとして，それが前提事実に記載されているのか，当事者の主張部分に記載されているのか，裁判所の判断部分に記載されているのかによって, 判決書を理解する上で，全く異なる意味を有することになる.したがって, XMLデータ化する際に，その記載部分の位置付けを明らかにすべきである.

## 3 XMLタグ付けの概要

## 3. 1 考え方

民事判決書は, 上記のとおり, 冒頭部分 (事件番号，事件名などを記載した部分），それに続く，「判決」との標題, 当事者 - 代理人, 主文, 事実及び理由を記載した部分, 末尾部分 (裁判所名, 裁判官名) を記載した部分とから成ることから，ルートタグを <Decision>と設定した上, その子要素として, 以下のとおり，<Header>, <Body>, <Footer>とタグ付けすることとした．以下，順に説明する。

【XMLタグ付けの全体的構成】

## 3.2 冒頭部分〈Header〉

(A)判決言渡日, (B)事件番号・事件名, (C)口頭弁論終結日の各記載は判決特定の重要な要素であるため, その記載要素をそれぞれ属性として記載することとした（以下の例ではタグ要素と属性のみを記載）。

 \\

なお, 最高裁H Pから取得できる判決書データの中には，上記の記載がないものがあるが，最高裁 $H$ $\mathrm{P}$ から別途取得した判決書の判決言渡日, 事件番号及び事件名を属性として記載したタグ（データ部分は空）を付することとした。

## 3. 3 本体部分〈Body〉

1 「判決」との標題部分は，<DecisionTitle>としてタグ付けした.この標題部分は，「中間判決」,「追加判決」, 「手形判決」, 「少額訴訟判決」 などの判決の種類に応じて表示される.

2 当事者・代理人等の記載

当事者・代理人については，<PersonTitle>とし

て「原告」「被告」「参加人」「訴訟代理人弁護

士」などのタイトルを記載するとともに，

<PersonName>として氏名ないし会社名を記載す

ることとした.

なお，氏名の前行ないし冒頭に記載される「亡 ○訴訟承継人」等の記載は<PersonPreNote>として, 氏名の次行に記載される「（以下「原告○○」 という。）」等の記載は<PersonPostNote>としてタグ付けした。

3 主文，事実及び理由の記載部分

この部分は，項番号により階層を持った記載がされる。判決書では公文書の項番号（第 1,1 , (1)，ア，(ア），a，(a)）が用いられることが多いが，その項番号に従っていない判決書も存する. また, 前記で述べたとおり, 事案の要旨, 当事者の主張などは，その項番号の付し方が一定ではない.

e-L AWS の法令データにおいては, 法令の項番号（編，章，節， ……条，項，号）に規則性があることから，その項番号を基に夕グ付けしているが，民事判決書においてはそこまでの規則性はないので，項番号をそのままタグ付けすることは好ましくない

そこで, 項番号によって階層構造を把握した上， そのレベルに応じて $\langle$ Rank 1$\rangle\langle$ Rank $2><$ Rank 3 などとタグ付けするとともに, 重要な標題(主文,事実及び理由, 請求, 事案の概要, 事案の要旨,裁判所の判断等）を属性 (Content) として付記し， その位置付けを明らかにすることとした。

以下は，「事実及び理由」に続いて「第 1 請求」と記載される部分のタグ付け例である.

tle>

## 3.4 末尾部分〈Footer〉

1 裁判所を示す〈Court〉タグにおいては,タイプ (C ourtType)，名前(CourtName)，内部の部番号 (Co urtDivision)ないし支部名 (CourtBranch)を属性として付記した（以下は，東京地方裁判所民事第 40 部のタグ要素及び属性の記載例）.

<Court CourtType="District" CourtName="東京" CourtDivision="民事第40部">

2 裁判官を示す<Judge>タグにおいては, 以下のとおり，肩書を<JudgeTitle>，氏名を<JudgeName>とタグ付けした。

## 3.5 外字の処理

最高裁HPからp d f データを取得すると，外字が用いられている部分が画像データなっているが，項番号の外字はテキストデータ (「(1)」「(ア)」「(a)」 など）に変換した。また，氏名の一部に外字が用いられている場合は，それが unicode に存する文字であればその文字に変換し，それができない場合は近似する文字に変換するとともに，当該文字につき <Variant>○</Variant>とタグ付けした.

## 4 XMLデータ化の実践と課題

最高裁H Pから取得した民事第一審判決書の p d f データをテキストデータにした上，上記の方針に従って, 順次XMLデータ化をする作業を進めている. XMLデータ化したデータをスキーマとともに g i t h u b (URL=??????) で公開する予定である.

なお，今回は，民事判決書の新様式判決を中心に検討したが，在来様式判決についても，付与する属性を在来様式に合わせることで，上記と同様の方式でXMLデータ化することが可能である．また，高裁判決，最高裁判決や，民事判決以外の行政事件，家事事件，刑事事件の判決書についても，同様の方式でXMLデータ化することが可能と考えられる.

そして，判決書のXMLデータ化が進むことで，今後, 情報工学的手法により, 裁判書の検索, 内容の分析が更に進むことが期待される.

## 参考文献

1. 民事判決起案の手引き。 法曹界

2. コンメンタール民事訴訟法日本評論社

3. 基本法コンメンタール・新民事訴訟法 2 別冊法学セミナー


# Applying mutual information to extract legal domain-specific collocation
## nouns in Mandarin

\author{
Huang, Po-Hsuan ${ }^{1}$, Huang, Sieh-Chuen ${ }^{1}$, Shao, Hsuan-Lei ${ }^{1}$ \\ ${ }^{1}$ Graduate Institute of Linguistics, National Taiwan University \\ ${ }^{2}$ College of Law, National Taiwan University \\ ${ }^{32}$ Department of East Asian Studies, National Taiwan Normal University \\ bensono32169@gmail.com, scchuang@ntu.edu.tw, hlshao2@gmail.com
}

\begin{abstract}
Segmentation constitutes a fundamental process within of Natural Language Processing (NLP) for the Chinese language. However, when we apply it into domain-specific field, it can be limited with the "domain-specific" words. especially in Chinese characters. The researchers often used the personal dictionary by human-hand before, we present a general solution of novel collocation extraction technique aimed at domain-specific texts through iterated segmentation based on mutual information measure and averaged mutual information. It has been found that while mutual-information-based collocation extractions did not benefit from iterated segmentation, collocation extractions based on averaged mutual information performed better after several times of iterated segmentation. Also, while segmentation based on mutual information reached generally higher precision, non-collocations extracted with mutual information had generally larger edit distances than those extracted with averaged mutual information.
\end{abstract}

## 1 Introduction

Segmentation as an essential process of Natural Language Processing (NLP) for the Chinese language. This assertion derives its significance from the inherent characteristics of the Chinese script, which is primarily logographic rather than alphabetic. Unlike languages utilizing alphabetic scripts, where words are typically separated by spaces or distinct characters, Chinese text does not possess such explicit word boundaries. Instead, it employs a continuous sequence of characters, primarily in the form of Chinese characters (hànzì/ Mandarin), each representing a morpheme, word, or part of a word.

Such a task is especially important and challenging in Mandarin due to the lack of obvious word boundaries in Chinese orthography and its inherent nature of being highly compositional. While many segmentation tools, such as jieba [2] and ckip [3], can identify small-unit common collocations, their performances are largely affected when faced with domain-specific documents. Domain-specific larger-unit collocations often fail to be For example,

Table 1. Comparation of Chinese Segmentation Engine

 & judgement text \\

Resourse: Taiwan Supreme Court Judgment No. 3398 of 1973.

The performance of commonly utilized software packages for general tasks is commendable. However, researchers often require specialized expertise in their respective domains. For instance, the term "不當得利" (condictio, unjust enrichment, ungerrechtfertigte) is a proper noun that should be regarded as a cohesive concept rather than dissected into "不當/得利." Another error lies in "使得/利人返" or "使得/利人" as suggested by ckip, both of which are incorrect, while "得利人" (beneficiary) is the accurate term.

Many of these "legal proper nouns" are collocations formed by combining two or more nouns, yet their meanings transcend simple juxtaposition, often carrying distinct legal connotations. Typically, experts engage in manual efforts to construct specialized dictionaries tailored to their research needs. However, this approach consumes considerable time and labor, and updating it with new content poses challenges. Consequently, it is not a universally applicable solution, as far as our knowledge extends.

Therefore, identifying collocations is an important part of preprocessing for multiple natural language processing applications, including word sense disambiguation, machine translation, and information retrieval, etc. [1]. identified, resulting in less-than-ideal performances for subsequent tasks. This study therefore seeks to examine collocation extraction methods suitable for domain-specific texts in Mandarin.

While several past studies have proposed different collocation extraction methods in Mandarin (e.g., [4, 5, 6, 7]), these methods all required the additional involvement of dictionaries or part-of-speech tags. While such methods are viable when dealing with common texts, a domain-specific dictionary is often unobtainable, and part-of-speech tagging also often fails when faced with domain-specific texts. As such, a purely association-rule-based method would be a more feasible solution for automatic domain-specific collocation extraction in Mandarin.

In this paper, we propose a novel technique for automated collocation extraction aimed at domain-specific texts. Specifically, we combine and compare two association measures, i.e., mutual information and its variant, averaged mutual information, with iterated segmentation, in an attempt to account for the changes in the frequency distribution at different levels of segmentation.

## 2 Methods

## 2.1 Corpora

In this study, a corpus consisting of 100,000 legal judgments (LC) ruled by Taiwanese courts was used. The documents were first preprocessed and then segmented into words with ckip.

## 2.2 Iterated Segmentation Based on Mutual Information and Averaged Mutual Information

To perform iterated segmentation, the mutual information (MI) and averaged mutual information (AMI) of each pair of bigrams were calculated as in (1) and (2), where $P(X)$ and $P(Y)$ are the probabilities of $X$ and $Y, E[M I(X, Y)]$ stands for the expectation of the mutual information of $X$ and $Y$, and $H(X)$ and $H(Y)$ stand for the entropies of $X$ and $Y$.

$M I(X, Y)=\sum x \in X \sum y \in Y P(x, y) \log \left(\frac{P(x, y)}{P(x) P(y)}\right)$

$
A M I(X, Y)=\frac{M I(X, Y)-E[M I(X, Y)]}{\frac{1}{2}[H(X)+H(Y)]-E[M I(X, Y)]}
$

In each iteration, word boundaries were determined at bigrams with an (A)MI value lower than the segmentation threshold. To determine the segmentation threshold, the averaged numbers of words per sentence at different thresholds were calculated starting from 0 to when the averaged numbers of words stopped increasing (i.e., no words were segmented into a larger unit), with a step of 1 for MI and 0.001 for AMI. An illustration is shown in Fig. 1. The elbow method was then used to determine the optimal segmentation threshold. The segmented words then underwent a new round of iteration, where the (A)MI values were recalculated. There was a total of 10 iterations.

Figure 1. An example of the distribution of the mean numbers of words per sentence across different levels of MI threshold. The mean number of words stopped increasing at an MI threshold near 1500.

## 2.3 Evaluation

To compare the interaction of different association measures and iterated segmentation, the extracted collocations after each iteration were evaluated (named MI-iterated 1-10 and AMI-iterated 1-10). To compare them with segmentation without iteration, 10 sets of collocations were additionally extracted without iteration, with segmentation thresholds based on the mean numbers of words at each level of the 10 iterations (named MI-noniterated 1-10 and AMI-noniterated 1-10). That is, the mean numbers of words of the noniterated groups were the same as their iterated counterparts. For instance, if the mean number of words for MI-iterated 5 was 3.5, then the collocations MI-noniterated 5 would be extracted based on the segmentation threshold at which the mean number of words for MI-noniterated was also 3.5. This was done to ensure the comparability of the iterated groups and their counterparts at each iteration level by making sure that they had the same mean numbers of words.

The extracted collocation candidates were then manually examined by four legal professionals. The candidates were labeled as three types: 1) legal collocations, 2) general collocations, and 3) non-collocations. Following [8], label ranking average precision (LRAP) scores were used to evaluate the precisions of the extracted collocation candidates. Additionally, for candidates judged as non-collocations, the correct target collocations were also labeled by the examiners. Levenshtein distances were calculated between the non-collocations and the target collocations to estimate their similarities.

## 3 Results

## 3.1 Label Ranking Average Precision Scores

The LRAP scores of legal collocations and general collocations extracted with (A)MI-iterated and (A)MI-noniterated 1-10 are shown in Fig. 2. As can be seen, an interaction between the different association measures and iterated segmentation was present. Specifically, for both legal collocations and general collocations, the extractions based on MI performed worse as the level of iterations increased; on the flip side, the precisions of the extractions based on AMI increased with the level of iteration.

The non-iterated groups, on the other hand, were less affected by the level of iteration. Specifically, the MI groups did not seem to be affected by the level of iteration, with the precision scores staying at 0.63 to 0.64 for legal collocations and 0.74 to 0.75 for general collocations throughout. On the other hand, the AMI groups performed better as the level of iteration increased. The precisions, however, stopped increasing after it reached 0.63 to 0.64 for legal collocations and 0.68 to 0.69 for general collocations as well.

Overall, the groups with the highest precisions were MI-iterated 1, MI-noniterated 1-10, and AMI-noniterated 7-10. For all groups, general collocation extractions had higher precision scores than legal collocation extractions.

Figure 2. Label ranking average precision scores of the legal collocations (solid line) and general collocations (dashed line).

## 3.2 Levenshtein Distance between Non-collocations and Target Collocations

The Levenshtein distances between non-collocations and target collocations for different extractions are shown in Fig. 3. An obvious difference between MI- and AMI-based extractions can be observed. In general, AMI-based extractions exhibited less edit distance between the false collocations and the target collocations than MI-based extractions. More importantly, while MI-based extractions, once again, did not benefit from iteration, the edit distances of AMI-based extractions decreased as the iteration level increased at the earlier stages of the iteration.

Figure 3. Levenshtein distance between non-collocations and target collocations.

## 4 Discussion and Conclusion

## 4.1 The interaction between the precisions of association measures and the level of iteration

In Section 3.1, it has been found that MI and AMI-based extractions reacted to iteration differently. MI-based extractions did not benefit from iteration, while AMI-based extractions increased in precision as the level of iteration increased. This might be due to the nature of AMI and its difference with MI. While MI measures the probability of two events happening together, AMI additionally takes into consideration the probabilities of one and both of the two events not happening. AMI therefore takes into account not merely the probability of the occurrence of a certain bigram, but also the counter-factual dependence of the two elements in the bigram, where the absence/presence of one element may promote the presence/absence of the other element. AMI-based extractions may therefore be more sensitive to the change in probabilities of the co-occurrence as well as the counterfactual dependence of the elements in a given bigram after each iteration than MI-based extractions, while MI-based extractions may erroneously combine bigrams into collocations after several iterations without taking into account such counterfactual dependence.

## 4.2 Comparison of the performances between MI- and AMI-based extractions

Another issue worth discussing is the performances of the MI- and AMI-based extractions. The precision scores of MI-based extractions are higher than AMI-based ones at the previous stages of the iteration, and are close to AMI-based ones at higher iteration levels. As such, judging from precision scores, an extraction based on MI without extraction seems to be both more efficient and better performing. However, the edit distances of the AMI-based extractions were lower than MI-based extractions. Specifically, the edit distances of AMI-based extractions decreased as the iteration level increased at the earlier stages of the iteration. This suggests that AMI-based extractions may be a better choice if the purpose is to not only reach higher precision but also reduce the edit distances with the target collocations.

## 4.3 Performance ceiling of purely association-measure-based extractions

Another issue that is worthy of discussion is the performance ceiling of the extraction methods investigated in this study. In Fig. 2, it can be observed that whether it be iterated or non-iterated and MI- or AMI-based, the precisions scores for the legal collocations seemed to stop increasing at a certain level (0.64). This might suggest that there exists an inherent limit to the performance of purely association-measure-based extractions. Indeed, in past studies, most collocation extraction methods require a combination of association measures and the additional involvement of dictionaries or part-of-speech tags. Extractions with high precisions may therefore be less attainable with purely association-measure-based methods. Alternatively, such a limitation may also surface from the relatively smaller sizes of the corpora used in this study, and the potential word segmentation errors during the initial segmentation process of the corpora. A larger corpus may disperse this question.

## 4.4 Conclusion

In this study, a novel association rule, i.e., averaged mutual information, and the use of iterated segmentation have been explored for domain-specific collocation extraction in Mandarin. It has been shown that compared with extractions based on canonical mutual information, those based on averaged mutual information benefited from iterated segmentation, though there seems to be a performance ceiling. Specifically, averaged mutual information has been found to reduce the edit distances between non-collocations and target collocations. The authors hope to provide further insights into the use of association rules in information retrieval, and to shed light on the issue of domain-specific collocation extraction.

## References

1. A new collocation extraction method combining multiple association measures. Lin, J.-F., Li, S., Cai, Y.: Proceedings of the Seventh International Conference on Machine Learning and Cybernetics, 2008. 12-17.

2. Chinese word segmentation tool. Sun, J. 2012.

3. Introduction to CKIP Chinese Word Segmentation System for the First International Chinese Word Segmentation Bakeoff. Ma, W.-Y., Chen, K.-J.: Proceedings of the Second SIGHAN Workshop on Chinese Language Processing, 2003. 168-171.

4. A Multi-stage Chinese Collocation Extraction System. Xu, R., Lu, Q.: Advances in Machine Learning and Cybernetics, 2013. 740-749.

5. Li, C. Chinese collocation extraction and its application in natural language processing. Ph.D. Thesis, Hong Kong Polytechnic University, Hongkong, 2007.
6. Corpus-based extraction of collocations in Chinese. Hui, W., Donghong, J.: Proceedings of the 2008 IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology, 2008. 330-333.

7. Automatic Extraction of Chinese V-N Collocations. Qian, X.: Chinese Lexical Semantics, 2012. 230-241.

8. Normalized (pointwise) mutual information in collocation extraction. Bouma, G.: Proceedings of the Biennial GSCL Conference, 2009. 31-40.

9. A machine learning approach to multiword expression extraction. Pecina, P.: Proceedings of the LREC 2008 Workshop Towards a Shared Task for Multiword Expressions, 2008. 54-57.


# 法律間の類似条文の対応付けにおける BERT の法令ドメイン適応

山田大地 ${ }^{1}$ 中村誠 $^{1}$
1 新潟工科大学 工学部
202011233@cc.niit.ac.jp mnakamur@niit.ac.jp

## 概要

比較法研究では日本法と外国法の類似する条文を対応付けることがある. 既に BERT [1] を用いて条文を対応付ける研究がなされているが，モデルは事前学習のみで使われていた。本研究では, BERT の fine-tuning を行い，条文を対応付けてその有効性を検証することを目的とする. fine-tuning には教師なし学習と教師有り学習を用いて性能の比較を行った。 また, 試験的に多言語モデルを用いた対応付け結果を示す. 実験より,法令テキストを用いて fine-tuning を行ったモデルは従来の手法を上回り，特に教師あり学習が類似条文の対応付けにおいて最も高い性能を発揮した。

## 1 はじめに

比較法とは種々の法体系における法制度又は法の機能を比較することを目的とする学問である．比較法では原則として国家の法体系を対象として比較を行う。通常，比較法では法を原文のまま理解し，相違点と共通点の発見を経て国家間の法制度や法文化を比較する [2]. 比較法の実務的な効用として, 自国法の立法整備, 解釈 - 適用の改善が挙げられる. 法制審議会では，諸外国の法制度についてまとめられた資料や制度の有無を比較した表が度々参照されている。また，グローバル化の進む現在，比較法は法学において重要な役割を担っており, 海外の文化や考え方を理解するための材料にもなり得る.

比較法は日本法と外国法の類似点を足掛かりとして行う場合がある. 正確な対応付けには法的な知識や使用言語への理解が求められ, そのような人材は一部の専門家に限られる. このとき, 日本法と外国法の類似部分を自動で対応付けることが出来れば，比較法研究に寄与寸るとともに，一般にも海外ビジネスを始める際に有用である。

計算機による類似部分の対応付けの自動化は，条文を比較することにより可能となり, 既に長, 小関らが行っている $[3,4,5]$. 提案手法の一つに BERT が採用されたが, 事前学習済みモデルを使用していた
ため, 日本法同士の対応付けでは Jaccard 係数や BM25といった単語ベースの手法に比べて劣る性能となった。一般的な BERT モデルは Wikipedia などのテキストで訓練されており，医療等の特定ドメインに対しては性能が低いことが報告されている [6].法令は一般文書より硬い表現で書かれるため, 法令文を扱うタスクを行う場合，BERT モデルの法令ドメイン適応が必要となる.

そこで，本研究では BERT モデルの fine-tuning を Transformer-based Sequential Denoising Auto-Encoder （TSDAE）を用いた教師なし学習と，ラベル付きデ一夕を用いた教師あり学習の 2 種類で行い, 法律間の類似条文の対応付けにおける fine-tuning の有効性を検証することを目的とする．また，日本法と外国法の対応付けについて，多言語モデルが有効かどうか調査する。

本稿は以下のような構成となっている. 第 2 章で関連研究のついて述べる. 第 3 章で日本法同士の対応付け, 日本法と外国法との対応付けの 2 種類の実験を説明する. 第 4 章で実験結果を示し, 考察を行う. 第 5 章で本稿のまとめと言語の課題について述べる.

## 2 関連研究

## 2. 1 類似条文の対応付け

長，小関ら [3,4,5] は，類似した条文の対応付けについて, 条文を一つの文書とした類似文書検索と捉え，図 1 のように行った。初めに，異なる法律の

図 1 条文の対応付け
条文の組み合わせ全てに対し，類似度を計算する。次に，ある条文に対して最も類似度が高い条文を参照し，その条文から見て最も類似度が高かった条文が元の条文と一致した場合に 2 つの条文を対応付けている.

対応付けに用いる文書間の類似度に関しても様々なものが試されている. まず，文書を単語の集合として扱い, 類似度算出には Jaccard 係数と Dice 係数が用いられた [3]. しかし, これらの手法は単語の重要度を考慮せず, 類義語であっても全く別の単語とする等の欠点があった. そこで, BERTによる埋め込み表現の cosine 類似度を用いて対応付けが行われた [4]. その他, 単語の重要度をもとに文書の順位付けを行う BM25, 入力長制限の無いDoc2Vec についても試されている [5].

## 2. 2 Sentence-BERT

Sentence-BERT（SBERT）とは，事前学習済みの BERT モデルを Siamese Network を用いて finetuning を行ったモデルであり, 従来の BERT に比べて文埋め込み表現が改善されるほか，複数の文書を扱う際に効果を発揮する [7]. そこで用いられた目的関数のうち, Regression Objective Function を取り上げる. 初めに，モデルは二つの文を受け取り，文埋め込みの cosine 類似度を計算する。次に正解ラベル (類似度) との平均二乗誤差を計算し, 似ている文書に対しては類似度が大きくなるよう埋め込みを調整する。

## 2. 3 TSDAE

TSDAE とは教師なし文埋め込みを学習するための Transformer モデルである [8]. 図 2 に TSDAE の構造を示す. TSDAE は，入力文にノイズ（トークンの削除）を加えて破損させた文を固定長のべクトルにし, そのべクトルを元の入力文に再構成することで文埋め込みを学習する. Wang らは, 入力トー クンの削除率が 0.6 で最適であると示した [8].既存の Transformer モデル [9] とは, CrossAttention のキーとバリューが文埋め込みに限定される点で異なる. Cross-Attention は以下の式で計算される。

$
H^{(k)}=\operatorname{Attention}\left(H^{(k-1)},\left[s^{T}\right],\left[s^{T}\right]\right)
$

図 2 TSDAE の構造 [8]より引用

$
\operatorname{Attention}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d}}\right) V
$

ここで, $H^{(k)} \in \mathbb{R}^{t \times d}$ は $\mathrm{k}$ 番目の層における $\mathrm{t}$ 回目の decoding ステップのデコーダの隠れ状態, $\mathrm{d}$ は文埋め込みのサイズ， $\left[s^{T}\right] \in \mathbb{R}^{1 \times d}$ は文埋め込みを含む 1 行の行列， $\mathrm{Q}, \mathrm{K}, \mathrm{V}$ はそれぞれクェリ，キー，バリューを表す。

## 3 実験

## 3.1 実験方法

本稿では以下のような 2 つの実験を行った.

## 実験 1 : 日本法同士の対応付け 実験 2 : 日本法と外国法の対応付け

実験 1 では法令文書を扱うタスクに対する finetuning の効果を, 教師なし学習・教師あり学習それぞれについて検証する. 先行研究 [5] と比較するため, 日本法同士である電気事業法 (昭和 39 年法律第 170 号) 全 315 条とガス事業法 (昭和 29 年法律第 51 号）全 207 条の対応付けを行うi. どちらもインフラに関する法律であるため, 構成や条文の内容が類似しているといった特徵がある。図 3 にその例を示す。それぞれの法律を条ごとに分割し，一方の

 &  \\

法律の条文と類似した他方の条文とを対応付ける.

図 3 類似条文の例

実験 2 では日本民法（明治 29 年法律第 89 号）の家族法（第 725 条～第 881 条）とドイツ民法の対応付けを行う. 先行研究 [5]ではテキストを英語に統一し，単言語の BERTによる対応付けを行っていた. 本研究では，多言語モデルを用いてそれぞれの法律を原文のまま対応付け, 先行研究 [5]の結果と比較する。

全実験を通して SBERT の pooling 処理には

MEANを採用し，各トークンの平均を文埋め込みとした。また, 512 トークンを超えた箇所は削除した. BERT の他に先行研究 [5] で採用されていた Jaccard 係数と BM25 についても実験を行い，これらを含め性能を比較する．条文の前処理については，MeCabを用いて形態素ごとに分割し，辞書には Neologdを使用した。

## 3. 2 評価方法

実験 1 の評価には先行研究 [5] と同じ正解データを用いる。この正解データは，法律の専門家による人手で作成されたものである. 対応付け結果を正解データと比較して Accuracy, Precision, Recall, F1 值を算出した。

実験 2 では, 実験 1 のような 1 対 1 の対応付けだと殆ど対応が取れないことが分かった。そこで，日本法から見たドイツ法の類似度上位 5 箇条を対応していると見做し, これを正解データと比較する. 結果は以下の式で評価される.

$
\text { 正答率 }=\frac{\text { 正解した日本法の条数 }}{\text { ドイツ法と対応する日本法の条数 }}
$

なお，正解デー夕は新注釈民法 [10] と新版注釈民法 $[11,12]$ から作成されており, ドイツ法と対応する日本法の条数は 106 条あった.

## 3.3 実験 1 :日本法同士の対応付け

## 3. 3. 1 教師なし学習

学習データ教師無し学習では法令テキストのみを用いる。e-Goviii法令検索に掲載されている「工業」カテゴリに属する全 485 法令を xml 形式でダウンロードし，項単位でテキストを抽出した（全 42,147 項）。

実験設定学習に用いるベースモデルは東北大学より公開の事前学習済みモデルiiiを利用した。バッチサイズは 8 , 学習率は $3 \mathrm{e}-5$, エポック数 1 で学習を行った。

## 3. 3.2 教師あり学習

学習データ教師あり学習を行うには STS benchmark [13] のようなラベル付きのデータセットが必要である。しかし, 法令文に適応したデータセットは作成されていない. そこで, 本研究では仮の法令 STS データセットを構築してこれを学習に用い，5 分割交差検証によりモデルの性能を評価する．本実験で使用する正解データを基に，「電気事業法-ガス事業法」となる条文の組み合わせ全 65,205 ペアに対し，類似度を表した -1～1のラベルを付与する. 条文ペアのうち実際に対応関係があるぺアに対しては 1 とする。対応関係がないぺアに対しては， 3.3.1 節で作成したモデルを用いて計算した類似度を 0.95 倍にて低減させた数値をラベリングする.

実験設定学習に用いるべースモデルは 3.3.1 節と同様のモデルを利用した. バッチサイズは 8 , 学習率は 2e-5, エポック数 3 で学習を行った. 5 分割検証の際，学習データと検証データの分割は $8: 2$ で行い，ランダムにサンプリングしている．最終的に学習データは 52,614 件, 検証データは 13,041 件となった.

## 3.4 実験 2 : 日本法と外国法の対応付け

使用データ対応付けに用いる法律は, それぞれの政府で提供されているデータを $\mathrm{xml}$ 形式で入手した。

実験設定現状，正解データが民法の家族法部分でしか作成されていないため，家族法に絞り実験を行う．今回の実験では，多言語モデルで先行研究と同様の結果が得られるかを試験的に確認するた

め, Hugging Faceivで公開されている以下のモデルを fine-tuning せず使用する.
- sentence-transformers/LaBSE
- sentence-transformers/paraphrase-multilingual-

MiniLM-L12-v2
- sentence-transformers/paraphrase-xlm-r-multilingualv1

iv https://huggingface.co/models

これらのモデルで対応付けた結果を先行研究 [5] でも用いられた単言語の BERT を含め比較する. また，モデルは bert-base-uncased を使用した.

## 4 実験結果と考察

表 1 に各手法の評価結果を示す。事前学習済み BERT を BERT-pretrained, 教師なしで学習したモデルをSBERT-TSDAE，教師ありで学習したモデルを SBERT-STS とする. SBERT-TSDAE の評価值は 50 回の実験と性能評価を繰り返して平均をとった数值である. また, SBERT-STS は 5 分割交差検証を行った際の評価である.

## 4.1 日本法同士の対応付け

## 4.1.1 教師なし学習

初めに従来の 3 つの手法 Jaccard, BM25, BERTpretrained について言及すると, 日本法同士の対応付けでは Jaccard 係数が最も優れていることが分かる. これは, 条文が対応関係にある場合に, 共通する単語が多数存在することに起因する.ここで BERT モデルに着目すると, 法令コーパスを用いて finetuning を行った SBERT-TSDAE は F1 值を約 $5.2 \mathrm{pt}$ 向上させ, BERT-pretrained を有意に上回った $(\mathrm{p}<0.05)$.特に, Recall が大きく改善されており, 類似した条文をより多く対応付けることに成功した。

## 4. 2 教師あり学習

SBERT-STS は, 全ての手法を上回り, SBERTTSDAE に比べて F1 值を更に約 $2.6 \mathrm{pt}$ 向上させた.

SBERT-STS と同様 Recall の伸びが見られたが, 今回は Precision も伸びており, 教師あり学習の方が教師なし学習と比べ優れている結果となった.

今回使用したデータセットは電気事業法とガス事業法のペアのみで作成しているため, データセットの拡充や，他の法律に対応付けにも効果を発揮するかを調査する必要がある.

## 4.3 日本法と外国法の対応付け

表 2 に各モデルの評価を示す. MiniML と XLM-r が BERT を僅かに超える結果となった. LaBSE が BERT より低い結果となったが, これはLaBSE の対応言語数の多さによるものだと考えられる. 結果から，多言語モデルを用いることで単言語に統一して行っていた外国法との対応付けを, 法律原文のまま対応付けることが可能であることが示唆された.表 1 各手法の対応付け性能評価

表 2 日本民法からみたドイツ民法との対応付け結果

## 5 おわりに

本研究では法律間の類似条文の対応付けにおいて, fine-tuning の有効性を検証した. 実験より, 教師あり学習を行ったモデルは従来の BERT の評価を大きく上回り, 最も高い性能を発揮した. 教師なし学習である TSDAE についても, 法令テキストのみで性能を向上させることができるため有効であることを確認した. 今後は多言語モデルの fine-tuning を行い，外国法との対応付けでも性能向上を目指せるかの検証を行っていきたい。

## 謝辞

本研究は, (財) 内田エネルギー科学振興財団の助成（助成番号 R05-1008）を受けた。

## 参考文献

[1] Devlin, J. et al. (2019). "BERT: Pre-training of deep bidirec- tional transformers for language understanding." In Proceedings of NAACL, pp. 41714186.

[2]滝沢正, 比較法, 三省堂 (2020)

[3] 長裕樹, 中村誠 (2021). 比較法研究における外国法との類似条項の対応付けと翻訳精度との関係について. 2021 年度電子情報通信学会信越支部大会, p. 115.

[4] 長裕樹, 中村誠 (2022). BERT を用いた比較法研究における類似条項の対応付け. 言語処理学会第 28 回年次大会発表論文集,

pp. 948-951.

[5] 小関龍也, 長裕樹, 中村誠 (2023). Doc2Vec と BERTを用いた比較法研究における類似条項の対応付け. 言語処理学会第 29 回年次大会発表論文集, pp. 182-186.

[6] Lee, J., et al. (2020). "BioBERT: a pre-trained biomedical language representation model for biomedical text mining." Bioinformatics, vol. 36, no. 4, pp. 1234-1240.

[7] Reimers, N., et al. (2019). "Sentence-BERT: Sentence embeddings using Siamese BERT-networks." In

EMNLP-IJCNLP, pp. 3982-3992.

[8] Wang, K., et al. (2021). "TSDAE: Using Transformerbased Sequential Denoising Auto-Encoder for Unsupervised Sentence Embedding Learning." In EMNLP2021, pp. 671-688.

[9] Vaswani, A., et al. (2017). "Attention is all you need." In Advances in Neural Information

Processing Systems, pp. 6000-6010.

[10] 二宮周平(編) (2017). 新注釈民法(17)親族(1) 725

条 791 条. 有斐閣.

[11] 中川善之助，山畠正男(編) (1994). 新版注釈民法(24) 親族(4) 792 条 817 条の 11. 有斐閣.

[12] 於保不二雄, 中川淳(編) (1994). 新版注釈民法 (25)親族(5) 818 条 881 条. 有斐閣.

[13] Cer et al. (2017). SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In SemEval-2017, pp. 1-14.