update

compression_util.py

@@ -222,7 +222,9 @@ def tokenize_corpus(
             "lossless": len(diff_details) == 0
         }
 
-        if detail_path and diff_details:
+        if not diff_details:
+            logger.info("no diff found")
+        elif detail_path:
             logger.info(f"saving tokenization detail to '{detail_path}'")
             with open(detail_path, "w", encoding="utf-8") as f:
                 f.write(json.dumps(diff_details, ensure_ascii=False, indent=2))
@@ -312,6 +314,7 @@ def main():
         # tokenizer_filter, corpuses = "Qwen/Qwen1.5-14B", ["cc100/de"]
         # tokenizer_filter, corpuses = "Qwen/Qwen1.5-14B", ["cc100/ja"]  # oov 特别多
         # tokenizer_filter, corpuses = "google-bert/bert-base-uncased", ["cc100/ja", "cc100/zh-Hans"]  # oov 特别多
+        # tokenizer_filter, corpuses = "deepseek-ai/DeepSeek-R1", ["cc100/de"]
     df = get_compression_leaderboard(corpuses, tokenizer_filter=tokenizer_filter)
     # print(df.to_markdown(index=False, tablefmt='fancy_grid'))
     logger.info(f"\n{df.to_markdown(index=False)}")

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.ar.diff.json

@@ -1,104 +1,104 @@
-[
-  {
-    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
-    "decoded_text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة.. ( 1)",
-    "diff": [
-      "delete    text[42:43] --> decoded_text[42:42]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
-    "decoded_text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
-    "diff": [
-      "insert    text[97:97] --> decoded_text[97:98]       '' --> 'َ'",
-      "delete    text[98:99] --> decoded_text[99:99]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب , نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
-    "decoded_text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب, نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
-    "diff": [
-      "delete    text[45:46] --> decoded_text[45:45]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات .",
-    "decoded_text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات.",
-    "diff": [
-      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم . حاورته: أمينة جنان",
-    "decoded_text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم. حاورته: أمينة جنان",
-    "diff": [
-      "delete    text[825:826] --> decoded_text[825:825]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة . رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود .",
-    "decoded_text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة. رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود.",
-    "diff": [
-      "delete    text[469:470] --> decoded_text[469:469]      ' ' --> ''",
-      "delete    text[720:721] --> decoded_text[719:719]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة .",
-    "decoded_text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة.",
-    "diff": [
-      "delete    text[147:148] --> decoded_text[147:147]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "البنوك الإسلامية في المملكة العربية السعودية _ عربية CNBC",
-    "decoded_text": "البنوك الإسلامية في المملكة العربية السعودية _ عربية cnbc",
-    "diff": [
-      "replace   text[53:57] --> decoded_text[53:57]   'CNBC' --> 'cnbc'"
-    ],
-    "n_oov_chars": 4,
-    "oov_ratio": 0.07017543859649122,
-    "oov_charset": "[\"C\", \"N\", \"B\"]"
-  },
-  {
-    "text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي. ...",
-    "decoded_text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي....",
-    "diff": [
-      "delete    text[183:184] --> decoded_text[183:183]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً ...",
-    "decoded_text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً...",
-    "diff": [
-      "delete    text[279:280] --> decoded_text[279:279]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
+    "decoded_text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة.. ( 1)",
+    "diff": [
+      "delete    text[42:43] --> decoded_text[42:42]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "diff": [
+      "insert    text[97:97] --> decoded_text[97:98]       '' --> 'َ'",
+      "delete    text[98:99] --> decoded_text[99:99]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب , نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "decoded_text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب, نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "diff": [
+      "delete    text[45:46] --> decoded_text[45:45]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات .",
+    "decoded_text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات.",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة ا��ضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم . حاورته: أمينة جنان",
+    "decoded_text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم. حاورته: أمينة جنان",
+    "diff": [
+      "delete    text[825:826] --> decoded_text[825:825]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة . رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود .",
+    "decoded_text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة. رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أم�� ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود.",
+    "diff": [
+      "delete    text[469:470] --> decoded_text[469:469]      ' ' --> ''",
+      "delete    text[720:721] --> decoded_text[719:719]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة .",
+    "decoded_text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة.",
+    "diff": [
+      "delete    text[147:148] --> decoded_text[147:147]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "البنوك الإسلامية في المملكة العربية السعودية _ عربية CNBC",
+    "decoded_text": "البنوك الإسلامية في المملكة العربية السعودية _ عربية cnbc",
+    "diff": [
+      "replace   text[53:57] --> decoded_text[53:57]   'CNBC' --> 'cnbc'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.07017543859649122,
+    "oov_charset": "[\"C\", \"N\", \"B\"]"
+  },
+  {
+    "text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي. ...",
+    "decoded_text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي....",
+    "diff": [
+      "delete    text[183:184] --> decoded_text[183:183]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً ...",
+    "decoded_text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً...",
+    "diff": [
+      "delete    text[279:280] --> decoded_text[279:279]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.es.diff.json

@@ -1,106 +1,106 @@
-[
-  {
-    "text": "el año natural a que correspondan.",
-    "decoded_text": "el a<unk>o natural a que correspondan.",
-    "diff": [
-      "replace   text[4:5] --> decoded_text[4:9]      'ñ' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.029411764705882353,
-    "oov_charset": "[\"ñ\"]"
-  },
-  {
-    "text": "a la Empresa el 50% del periodo restante en la fecha señalada",
-    "decoded_text": "a la Empresa el 50% del periodo restante en la fecha se<unk>alada",
-    "diff": [
-      "replace   text[55:56] --> decoded_text[55:60]      'ñ' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.01639344262295082,
-    "oov_charset": "[\"ñ\"]"
-  },
-  {
-    "text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los años que están por venir.",
-    "decoded_text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los a<unk>os que están por venir.",
-    "diff": [
-      "replace   text[76:77] --> decoded_text[76:81]      'ñ' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.01,
-    "oov_charset": "[\"ñ\"]"
-  },
-  {
-    "text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici…en definitiva…. MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
-    "decoded_text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici...en definitiva.... MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
-    "diff": [
-      "replace   text[77:78] --> decoded_text[77:80]      '…' --> '...'",
-      "replace   text[91:92] --> decoded_text[93:96]      '…' --> '...'"
-    ],
-    "n_oov_chars": 2,
-    "oov_ratio": 0.01098901098901099,
-    "oov_charset": "[\"…\"]"
-  },
-  {
-    "text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones… etc.",
-    "decoded_text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones... etc.",
-    "diff": [
-      "replace   text[293:299] --> decoded_text[293:301] '… etc.' --> '... etc.'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.0033444816053511705,
-    "oov_charset": "[\"…\"]"
-  },
-  {
-    "text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso…. ¡¡¡Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un niño pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
-    "decoded_text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso.... <unk>Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un ni<unk>o pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
-    "diff": [
-      "delete    text[206:207] --> decoded_text[206:206]      '…' --> ''",
-      "replace   text[208:212] --> decoded_text[207:216]   ' ¡¡¡' --> '... <unk>'",
-      "replace   text[313:314] --> decoded_text[317:322]      'ñ' --> '<unk>'"
-    ],
-    "n_oov_chars": 5,
-    "oov_ratio": 0.007246376811594203,
-    "oov_charset": "[\"…\", \"¡\", \"ñ\"]"
-  },
-  {
-    "text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
-    "decoded_text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano...), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles...... Acabas de formalizar “un contrato” contigo mismo.",
-    "diff": [
-      "replace   text[80:81] --> decoded_text[80:83]      '…' --> '...'",
-      "replace   text[233:235] --> decoded_text[235:241]     '……' --> '......'"
-    ],
-    "n_oov_chars": 3,
-    "oov_ratio": 0.010526315789473684,
-    "oov_charset": "[\"…\"]"
-  },
-  {
-    "text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar…. un día es largo si lo aprovechas.",
-    "decoded_text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar.... un día es largo si lo aprovechas.",
-    "diff": [
-      "replace   text[167:168] --> decoded_text[167:170]      '…' --> '...'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.0049261083743842365,
-    "oov_charset": "[\"…\"]"
-  },
-  {
-    "text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir…”; pon hoy mismo rumbo a tu vida.",
-    "decoded_text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir...”; pon hoy mismo rumbo a tu vida.",
-    "diff": [
-      "replace   text[66:67] --> decoded_text[66:69]      '…' --> '...'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.01,
-    "oov_charset": "[\"…\"]"
-  },
-  {
-    "text": "Es frecuente en estas fechas plantear objetivos para el nuevo año, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
-    "decoded_text": "Es frecuente en estas fechas plantear objetivos para el nuevo a<unk>o, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
-    "diff": [
-      "replace   text[63:64] --> decoded_text[63:68]      'ñ' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.003125,
-    "oov_charset": "[\"ñ\"]"
-  }
+[
+  {
+    "text": "el año natural a que correspondan.",
+    "decoded_text": "el a<unk>o natural a que correspondan.",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:9]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"ñ\"]"
+  },
+  {
+    "text": "a la Empresa el 50% del periodo restante en la fecha señalada",
+    "decoded_text": "a la Empresa el 50% del periodo restante en la fecha se<unk>alada",
+    "diff": [
+      "replace   text[55:56] --> decoded_text[55:60]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01639344262295082,
+    "oov_charset": "[\"ñ\"]"
+  },
+  {
+    "text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los años que están por venir.",
+    "decoded_text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los a<unk>os que están por venir.",
+    "diff": [
+      "replace   text[76:77] --> decoded_text[76:81]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01,
+    "oov_charset": "[\"ñ\"]"
+  },
+  {
+    "text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici…en definitiva…. MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
+    "decoded_text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici...en definitiva.... MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
+    "diff": [
+      "replace   text[77:78] --> decoded_text[77:80]      '…' --> '...'",
+      "replace   text[91:92] --> decoded_text[93:96]      '…' --> '...'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.01098901098901099,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones… etc.",
+    "decoded_text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones... etc.",
+    "diff": [
+      "replace   text[293:299] --> decoded_text[293:301] '… etc.' --> '... etc.'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0033444816053511705,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso…. ¡¡¡Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un niño pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
+    "decoded_text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso.... <unk>Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un ni<unk>o pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
+    "diff": [
+      "delete    text[206:207] --> decoded_text[206:206]      '…' --> ''",
+      "replace   text[208:212] --> decoded_text[207:216]   ' ¡¡¡' --> '... <unk>'",
+      "replace   text[313:314] --> decoded_text[317:322]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.007246376811594203,
+    "oov_charset": "[\"…\", \"¡\", \"ñ\"]"
+  },
+  {
+    "text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
+    "decoded_text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano...), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles...... Acabas de formalizar “un contrato” contigo mismo.",
+    "diff": [
+      "replace   text[80:81] --> decoded_text[80:83]      '…' --> '...'",
+      "replace   text[233:235] --> decoded_text[235:241]     '……' --> '......'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.010526315789473684,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar…. un día es largo si lo aprovechas.",
+    "decoded_text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar.... un día es largo si lo aprovechas.",
+    "diff": [
+      "replace   text[167:168] --> decoded_text[167:170]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0049261083743842365,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir…”; pon hoy mismo rumbo a tu vida.",
+    "decoded_text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir...”; pon hoy mismo rumbo a tu vida.",
+    "diff": [
+      "replace   text[66:67] --> decoded_text[66:69]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Es frecuente en estas fechas plantear objetivos para el nuevo año, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
+    "decoded_text": "Es frecuente en estas fechas plantear objetivos para el nuevo a<unk>o, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
+    "diff": [
+      "replace   text[63:64] --> decoded_text[63:68]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.003125,
+    "oov_charset": "[\"ñ\"]"
+  }
 ]

stats/compression_rate/EleutherAI.gpt-neox-20b @ cc100.fa.diff.json

@@ -1,104 +1,104 @@
-[
-  {
-    "text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک . اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
-    "decoded_text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک. اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
-    "diff": [
-      "delete    text[82:83] --> decoded_text[82:82]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و ..",
-    "decoded_text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و..",
-    "diff": [
-      "delete    text[108:109] --> decoded_text[108:108]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم .. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
-    "decoded_text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم.. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
-    "diff": [
-      "delete    text[129:130] --> decoded_text[129:129]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا , التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه ,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است . در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
-    "decoded_text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا, التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است. در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
-    "diff": [
-      "delete    text[290:291] --> decoded_text[290:290]      ' ' --> ''",
-      "delete    text[621:622] --> decoded_text[620:620]      ' ' --> ''",
-      "delete    text[672:673] --> decoded_text[670:670]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا ...",
-    "decoded_text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا...",
-    "diff": [
-      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم ...",
-    "decoded_text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم...",
-    "diff": [
-      "delete    text[128:129] --> decoded_text[128:128]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری ...",
-    "decoded_text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری...",
-    "diff": [
-      "delete    text[123:124] --> decoded_text[123:123]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک ...",
-    "decoded_text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک...",
-    "diff": [
-      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "معمولا هزینه کمپ های ترک اعتیاد طبق تعرفه ای مصوب که از سوی مراکز درمانی و اقامتی بهزیستی استان تهران، قم و کرج اعلام می شود، محاسبه گشته و با توجه به شرایط کیفی . کمی این مراکز هزینه های مربوط به ترک اعتیاد متفاوت می باشد. از این رو هر بیمار باید با صلاحدید پزشک و مشورت با خانواده خود یکی از این مراکز را برگزیده و به درمان خود بپردازد.",
-    "decoded_text": "معمولا هزینه کمپ های ترک اعتیاد طبق تعرفه ای مصوب که از سوی مراکز درمانی و اقامتی بهزیستی استان تهران، قم و کرج اعلام می شود، محاسبه گشته و با توجه به شرایط کیفی. کمی این مراکز هزینه های مربوط به ترک اعتیاد متفاوت می باشد. از این رو هر بیمار باید با صلاحدید پزشک و مشورت با خانواده خود یکی از این مراکز را برگزیده و به درمان خود بپردازد.",
-    "diff": [
-      "delete    text[161:162] --> decoded_text[161:161]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "سلام .آقا خدا خیرتون بده که هزینه کمپ های شما بصرفه هستش والا ما چنتا جا زنگ زدیم قیمت بالایی داشتن ….عجیب بودش",
-    "decoded_text": "سلام.آقا خدا خیرتون بده که هزینه کمپ های شما بصرفه هستش والا ما چنتا جا زنگ زدیم قیمت بالایی داشتن ….عجیب بودش",
-    "diff": [
-      "delete    text[4:5] --> decoded_text[4:4]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک . اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "decoded_text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک. اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "diff": [
+      "delete    text[82:83] --> decoded_text[82:82]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و ..",
+    "decoded_text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و..",
+    "diff": [
+      "delete    text[108:109] --> decoded_text[108:108]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم .. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "decoded_text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم.. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "diff": [
+      "delete    text[129:130] --> decoded_text[129:129]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا , التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه ,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است . در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
+    "decoded_text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا, التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است. در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
+    "diff": [
+      "delete    text[290:291] --> decoded_text[290:290]      ' ' --> ''",
+      "delete    text[621:622] --> decoded_text[620:620]      ' ' --> ''",
+      "delete    text[672:673] --> decoded_text[670:670]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا ...",
+    "decoded_text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا...",
+    "diff": [
+      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم ...",
+    "decoded_text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم...",
+    "diff": [
+      "delete    text[128:129] --> decoded_text[128:128]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری ...",
+    "decoded_text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری...",
+    "diff": [
+      "delete    text[123:124] --> decoded_text[123:123]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک ...",
+    "decoded_text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک...",
+    "diff": [
+      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "معمولا هزینه کمپ های ترک اعتیاد طبق تعرفه ای مصوب که از سوی مراکز درمانی و اقامتی بهزیستی استان تهران، قم و کرج اعلام می شود، محاسبه گشته و با توجه به شرایط کیفی . کمی این مراکز هزینه های مربوط به ترک اعتیاد متفاوت می باشد. از این رو هر بیمار باید با صلاحدید پزشک و مشورت با خانواده خود یکی از این مراکز را برگزیده و به درمان خود بپردازد.",
+    "decoded_text": "معمولا هزینه کمپ های ترک اعتیاد طبق تعرفه ای مصوب که از سوی مراکز درمانی و اقامتی بهزیستی استان تهران، قم و کرج اعلام می شود، محاسبه گشته و با توجه به شرایط کیفی. کمی این مراکز هزینه های مربوط به ترک اعتیاد متفاوت می باشد. از این رو هر بیمار باید با صلاحدید پزشک و مشورت با خانواده خود یکی از این مراکز را برگزیده و به درمان خود بپردازد.",
+    "diff": [
+      "delete    text[161:162] --> decoded_text[161:161]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "سلام .آقا خدا خیرتون بده که هزینه کمپ های شما بصرفه هستش والا ما چنتا جا زنگ زدیم قیمت بالایی داشتن ….عجیب بودش",
+    "decoded_text": "سلام.آقا خدا خیرتون بده که هزینه کمپ های شما بصرفه هستش والا ما چنتا جا زنگ زدیم قیمت بالایی داشتن ….عجیب بودش",
+    "diff": [
+      "delete    text[4:5] --> decoded_text[4:4]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/HuggingFaceH4.starchat-alpha @ cc100.fr.diff.json

@@ -1,102 +1,102 @@
-[
-  {
-    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
-    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
-    "diff": [
-      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
-    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconnaître quand j'ai tort",
-    "diff": [
-      "delete    text[150:151] --> decoded_text[150:150]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non ?)",
-    "decoded_text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non?)",
-    "diff": [
-      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Vive la non-moutonnerie !!! mais je comprends ce que tu veux dire ^^",
-    "decoded_text": "Vive la non-moutonnerie!!! mais je comprends ce que tu veux dire ^^",
-    "diff": [
-      "delete    text[23:24] --> decoded_text[23:23]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime !\")",
-    "decoded_text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime!\")",
-    "diff": [
-      "delete    text[277:278] --> decoded_text[277:277]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Quand les élus se réunissent-ils ?",
-    "decoded_text": "Quand les élus se réunissent-ils?",
-    "diff": [
-      "delete    text[32:33] --> decoded_text[32:32]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- Dans la vie, quel est ton surnom ? Insérez votre réponse ici",
-    "decoded_text": "- Dans la vie, quel est ton surnom? Insérez votre réponse ici",
-    "diff": [
-      "delete    text[34:35] --> decoded_text[34:34]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not !!!",
-    "decoded_text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not!!!",
-    "diff": [
-      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "-Quelle est l’origine de ton pseudo ? c'est le nom d'un animal que j'ai inventé",
-    "decoded_text": "-Quelle est l’origine de ton pseudo? c'est le nom d'un animal que j'ai inventé",
-    "diff": [
-      "delete    text[35:36] --> decoded_text[35:35]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "-Quelle est ton humeur au moment de commencer ce test ? Heu...normal!",
-    "decoded_text": "-Quelle est ton humeur au moment de commencer ce test? Heu...normal!",
-    "diff": [
-      "delete    text[53:54] --> decoded_text[53:53]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
+    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
+    "diff": [
+      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
+    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconnaître quand j'ai tort",
+    "diff": [
+      "delete    text[150:151] --> decoded_text[150:150]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non ?)",
+    "decoded_text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non?)",
+    "diff": [
+      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Vive la non-moutonnerie !!! mais je comprends ce que tu veux dire ^^",
+    "decoded_text": "Vive la non-moutonnerie!!! mais je comprends ce que tu veux dire ^^",
+    "diff": [
+      "delete    text[23:24] --> decoded_text[23:23]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime !\")",
+    "decoded_text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime!\")",
+    "diff": [
+      "delete    text[277:278] --> decoded_text[277:277]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Quand les élus se réunissent-ils ?",
+    "decoded_text": "Quand les élus se réunissent-ils?",
+    "diff": [
+      "delete    text[32:33] --> decoded_text[32:32]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- Dans la vie, quel est ton surnom ? Insérez votre réponse ici",
+    "decoded_text": "- Dans la vie, quel est ton surnom? Insérez votre réponse ici",
+    "diff": [
+      "delete    text[34:35] --> decoded_text[34:34]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not !!!",
+    "decoded_text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not!!!",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Quelle est l’origine de ton pseudo ? c'est le nom d'un animal que j'ai inventé",
+    "decoded_text": "-Quelle est l’origine de ton pseudo? c'est le nom d'un animal que j'ai inventé",
+    "diff": [
+      "delete    text[35:36] --> decoded_text[35:35]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Quelle est ton humeur au moment de commencer ce test ? Heu...normal!",
+    "decoded_text": "-Quelle est ton humeur au moment de commencer ce test? Heu...normal!",
+    "diff": [
+      "delete    text[53:54] --> decoded_text[53:53]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/OrionStarAI.Orion-14B-Chat @ cc100.de.diff.json

@@ -1,103 +1,103 @@
-[
-  {
-    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
-    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
-    "diff": [
-      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
-    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
-    "diff": [
-      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
-    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
-    "diff": [
-      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte über seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
-    "decoded_text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte Ã1⁄4ber seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
-    "diff": [
-      "replace   text[178:179] --> decoded_text[178:181]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.00392156862745098,
-    "oov_charset": "[\"¼\"]"
-  },
-  {
-    "text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den Gürtel und ließ sie gehen.",
-    "decoded_text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den GÃ1⁄4rtel und ließ sie gehen.",
-    "diff": [
-      "replace   text[113:114] --> decoded_text[113:116]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.007194244604316547,
-    "oov_charset": "[\"¼\"]"
-  },
-  {
-    "text": "Und die Kinder Ammon zogen aus und rüsteten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
-    "decoded_text": "Und die Kinder Ammon zogen aus und rÃ1⁄4steten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
-    "diff": [
-      "replace   text[37:38] --> decoded_text[37:40]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.005847953216374269,
-    "oov_charset": "[\"¼\"]"
-  },
-  {
-    "text": "Und das übrige Volk tat er unter die Hand seines Bruders Abisai, daß er sich rüstete wider dir Kinder Ammon,",
-    "decoded_text": "Und das Ã1⁄4brige Volk tat er unter die Hand seines Bruders Abisai, daß er sich rÃ1⁄4stete wider dir Kinder Ammon,",
-    "diff": [
-      "replace   text[9:10] --> decoded_text[9:12]      '¼' --> '1⁄4'",
-      "replace   text[81:82] --> decoded_text[83:86]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 2,
-    "oov_ratio": 0.018018018018018018,
-    "oov_charset": "[\"¼\"]"
-  },
-  {
-    "text": "Und Hadadeser sandte hin und brachte heraus die Syrer jenseit des Stromes und führte herein ihre Macht; und Sobach, der Feldhauptmann Hadadesers, zog vor ihnen her.",
-    "decoded_text": "Und Hadadeser sandte hin und brachte heraus die Syrer jenseit des Stromes und fÃ1⁄4hrte herein ihre Macht; und Sobach, der Feldhauptmann Hadadesers, zog vor ihnen her.",
-    "diff": [
-      "replace   text[80:81] --> decoded_text[80:83]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.006060606060606061,
-    "oov_charset": "[\"¼\"]"
-  },
-  {
-    "text": "Da das David ward angesagt, sammelte er zuhauf das ganze Israel und zog über den Jordan und kam gen Helam. Und die Syrer stellten sich wider David, mit ihm zu streiten.",
-    "decoded_text": "Da das David ward angesagt, sammelte er zuhauf das ganze Israel und zog Ã1⁄4ber den Jordan und kam gen Helam. Und die Syrer stellten sich wider David, mit ihm zu streiten.",
-    "diff": [
-      "replace   text[73:74] --> decoded_text[73:76]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.005917159763313609,
-    "oov_charset": "[\"¼\"]"
-  },
-  {
-    "text": "Da aber die Könige, die unter Hadadeser waren, sahen, daß sie geschlagen waren vor Israel, machten sie Frieden mit Israel und wurden ihnen untertan. Und die Syrer fürchteten sich, den Kindern Ammon mehr zu helfen.",
-    "decoded_text": "Da aber die Könige, die unter Hadadeser waren, sahen, daß sie geschlagen waren vor Israel, machten sie Frieden mit Israel und wurden ihnen untertan. Und die Syrer fÃ1⁄4rchteten sich, den Kindern Ammon mehr zu helfen.",
-    "diff": [
-      "replace   text[167:168] --> decoded_text[167:170]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.004629629629629629,
-    "oov_charset": "[\"¼\"]"
-  }
+[
+  {
+    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "diff": [
+      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "diff": [
+      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "diff": [
+      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte über seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
+    "decoded_text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte Ã1⁄4ber seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
+    "diff": [
+      "replace   text[178:179] --> decoded_text[178:181]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.00392156862745098,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den Gürtel und ließ sie gehen.",
+    "decoded_text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den GÃ1⁄4rtel und ließ sie gehen.",
+    "diff": [
+      "replace   text[113:114] --> decoded_text[113:116]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007194244604316547,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Und die Kinder Ammon zogen aus und rüsteten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
+    "decoded_text": "Und die Kinder Ammon zogen aus und rÃ1⁄4steten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:40]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005847953216374269,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Und das übrige Volk tat er unter die Hand seines Bruders Abisai, daß er sich rüstete wider dir Kinder Ammon,",
+    "decoded_text": "Und das Ã1⁄4brige Volk tat er unter die Hand seines Bruders Abisai, daß er sich rÃ1⁄4stete wider dir Kinder Ammon,",
+    "diff": [
+      "replace   text[9:10] --> decoded_text[9:12]      '¼' --> '1⁄4'",
+      "replace   text[81:82] --> decoded_text[83:86]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.018018018018018018,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Und Hadadeser sandte hin und brachte heraus die Syrer jenseit des Stromes und führte herein ihre Macht; und Sobach, der Feldhauptmann Hadadesers, zog vor ihnen her.",
+    "decoded_text": "Und Hadadeser sandte hin und brachte heraus die Syrer jenseit des Stromes und fÃ1⁄4hrte herein ihre Macht; und Sobach, der Feldhauptmann Hadadesers, zog vor ihnen her.",
+    "diff": [
+      "replace   text[80:81] --> decoded_text[80:83]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.006060606060606061,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Da das David ward angesagt, sammelte er zuhauf das ganze Israel und zog über den Jordan und kam gen Helam. Und die Syrer stellten sich wider David, mit ihm zu streiten.",
+    "decoded_text": "Da das David ward angesagt, sammelte er zuhauf das ganze Israel und zog Ã1⁄4ber den Jordan und kam gen Helam. Und die Syrer stellten sich wider David, mit ihm zu streiten.",
+    "diff": [
+      "replace   text[73:74] --> decoded_text[73:76]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005917159763313609,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Da aber die Könige, die unter Hadadeser waren, sahen, daß sie geschlagen waren vor Israel, machten sie Frieden mit Israel und wurden ihnen untertan. Und die Syrer fürchteten sich, den Kindern Ammon mehr zu helfen.",
+    "decoded_text": "Da aber die Könige, die unter Hadadeser waren, sahen, daß sie geschlagen waren vor Israel, machten sie Frieden mit Israel und wurden ihnen untertan. Und die Syrer fÃ1⁄4rchteten sich, den Kindern Ammon mehr zu helfen.",
+    "diff": [
+      "replace   text[167:168] --> decoded_text[167:170]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004629629629629629,
+    "oov_charset": "[\"¼\"]"
+  }
 ]

stats/compression_rate/OrionStarAI.Orion-14B-Chat @ cc100.zh-Hans.diff.json

@@ -1,113 +1,113 @@
-[
-  {
-    "text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
-    "decoded_text": "卍招财带什么佛牌卍（www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
-    "diff": [
-      "replace   text[9:10] --> decoded_text[9:10]      '(' --> '（'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。",
-    "decoded_text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的3小时，终于在飞机起飞前5分钟，登上返程的航班。",
-    "diff": [
-      "replace   text[100:101] --> decoded_text[100:101]      '３' --> '3'",
-      "replace   text[112:113] --> decoded_text[112:113]      '５' --> '5'"
-    ],
-    "n_oov_chars": 2,
-    "oov_ratio": 0.016129032258064516,
-    "oov_charset": "[\"３\", \"５\"]"
-  },
-  {
-    "text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
-    "decoded_text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达（RingoStarr）颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨（JuliaRoberts）负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
-    "diff": [
-      "replace   text[61:62] --> decoded_text[61:62]      '(' --> '（'",
-      "replace   text[72:73] --> decoded_text[72:73]      ')' --> '）'",
-      "replace   text[111:112] --> decoded_text[111:112]      '(' --> '（'",
-      "replace   text[124:125] --> decoded_text[124:125]      ')' --> '）'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
-    "decoded_text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。（方赵春）",
-    "diff": [
-      "replace   text[110:111] --> decoded_text[110:111]      '(' --> '（'",
-      "replace   text[114:115] --> decoded_text[114:115]      ')' --> '）'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "林芳正表示“首席谈判官代理大江博已经在访美”。大江可能正与美国贸易代表办公室(USTR)代理副贸易代表卡特勒等交换意见。",
-    "decoded_text": "林芳正表示“首席谈判官代理大江博已经在访美”。大江可能正与美国贸易代表办公室（USTR）代理副贸易代表卡特勒等交换意见。",
-    "diff": [
-      "replace   text[38:39] --> decoded_text[38:39]      '(' --> '（'",
-      "replace   text[43:44] --> decoded_text[43:44]      ')' --> '）'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "“把人撞伤了，总该有个说法吧。”王女士说，哥哥虽然没有生命危险，但肇事者就这样不了了之，于情于理都有些说不过去，“如果有看清车牌号的目击者能够提供有价值线索，我们会给予他(她)一定的资金酬谢。”同时，王女士希望，肇事者能够主动露面，给伤者家属一个合理的说法。(记者徐晓哲/报道)",
-    "decoded_text": "“把人撞伤了，总该有个说法吧。”王女士说，哥哥虽然没有生命危险，但肇事者就这样不了了之，于情于理都有些说不过去，“如果有看清车牌号的目击者能够提供有价值线索，我们会给予他（她）一定的资金酬谢。”同时，王女士希望，肇事者能够主动露面，给伤者家属一个合理的说法。（记者徐晓哲/报道）",
-    "diff": [
-      "replace   text[85:86] --> decoded_text[85:86]      '(' --> '（'",
-      "replace   text[87:88] --> decoded_text[87:88]      ')' --> '）'",
-      "replace   text[129:130] --> decoded_text[129:130]      '(' --> '（'",
-      "replace   text[138:139] --> decoded_text[138:139]      ')' --> '）'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "还有多少场“火烧连营”的悲剧可以重来？这是一个应当回答也必须回答的问题。又一个古寨濒临消失，又一群人面临着流离失所，那么其他的古寨，其他居于其间的人，能否获得安全的保障？不要等到所有的古寨都消失了才想到消防工作的重要，如果连火灾都无以唤醒责任，还有比之更为强大的推动力吗？(堂吉伟德)",
-    "decoded_text": "还有多少场“火烧连营”的悲剧可以重来？这是一个应当回答也必须回答的问题。又一个古寨濒临消失，又一群人面临着流离失所，那么其他的古寨，其他居于其间的人，能否获得安全的保障？不要等到所有的古寨都消失了才想到消防工作的重要，如果连火灾都无以唤醒责任，还有比之更为强大的推动力吗？（堂吉伟德）",
-    "diff": [
-      "replace   text[136:137] --> decoded_text[136:137]      '(' --> '（'",
-      "replace   text[141:142] --> decoded_text[141:142]      ')' --> '）'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "在新奥尔良召开的全国汽车经销商协会会议上，Willisch表示，宝马i3将配备3系经典装置。这样，在入门级320i和标配级335i之间还会有大约15,000美元的价格窗口。Willisch表示，新车将会以一个“极具吸引力”的租约发售方式发布新车。",
-    "decoded_text": "在新奥尔良召开的全国汽车经销商协会会议上，Willisch表示，宝马i3将配备3系经典装置。这样，在入门级320i和标配级335i之间还会有大约15，000美元的价格窗口。Willisch表示，新车将会以一个“极具吸引力”的租约发售方式发布新车。",
-    "diff": [
-      "replace   text[74:75] --> decoded_text[74:75]      ',' --> '，'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "招财带什么佛牌_极速灵猴佛牌作用_佛牌绳哪里有卖(www.suzastampin.com)1月28日电外交部发言人华春莹28日在例行记者会上表示，叙利亚冲突双方首次坐到一起，是朝着政治解决叙问题迈出的重要一步，联合国发挥了主渠道作用，来之不易，值得珍惜。只要双方都抱有诚意和耐心，坚持政治解决叙问题的大方向，相信谈判进程就会山重水复疑无路，柳暗花明又一村。",
-    "decoded_text": "招财带什么佛牌_极速灵猴佛牌作用_佛牌绳哪里有卖（www.suzastampin.com)1月28日电外交部发言人华春莹28日在例行记者会上表示，叙利亚冲突双方首次坐到一起，是朝着政治解决叙问题迈出的重要一步，联合国发挥了主渠道作用，来之不易，值得珍惜。只要双方都抱有诚意和耐心，坚持政治解决叙问题的大方向，相信谈判进程就会山重水复疑无路，柳暗花明又一村。",
-    "diff": [
-      "replace   text[24:25] --> decoded_text[24:25]      '(' --> '（'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "招财带什么佛牌如果再不好好读书，就只能在倒数的名次内徘徊。，也许我放下了,也许还没,也许连我自己都不清楚。；我能感觉到你的心��，你有你说不出的无奈，但是你做出一副无所谓的样子，你越是这样我就越难受。。",
-    "decoded_text": "招财带什么佛牌如果再不好好读书，就只能在倒数的名次内徘徊。，也许我放下了，也许还没，也许连我自己都不清楚。；我能感觉到你的心痛，你有你说不出的无奈，但是你做出一副无所谓的样子，你越是这样我就越难受。。",
-    "diff": [
-      "replace   text[36:37] --> decoded_text[36:37]      ',' --> '，'",
-      "replace   text[41:42] --> decoded_text[41:42]      ',' --> '，'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
+    "decoded_text": "卍招财带什么佛牌卍（www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
+    "diff": [
+      "replace   text[9:10] --> decoded_text[9:10]      '(' --> '（'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。",
+    "decoded_text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的3小时，终于在飞机起飞前5分钟，登上返程的航班。",
+    "diff": [
+      "replace   text[100:101] --> decoded_text[100:101]      '３' --> '3'",
+      "replace   text[112:113] --> decoded_text[112:113]      '５' --> '5'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.016129032258064516,
+    "oov_charset": "[\"３\", \"５\"]"
+  },
+  {
+    "text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
+    "decoded_text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达（RingoStarr）颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨（JuliaRoberts）负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
+    "diff": [
+      "replace   text[61:62] --> decoded_text[61:62]      '(' --> '（'",
+      "replace   text[72:73] --> decoded_text[72:73]      ')' --> '）'",
+      "replace   text[111:112] --> decoded_text[111:112]      '(' --> '（'",
+      "replace   text[124:125] --> decoded_text[124:125]      ')' --> '）'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "decoded_text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学���毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。（方赵春）",
+    "diff": [
+      "replace   text[110:111] --> decoded_text[110:111]      '(' --> '（'",
+      "replace   text[114:115] --> decoded_text[114:115]      ')' --> '）'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "林芳正表示“首席谈判官代理大江博已经在访美”。大江可能正与美国贸易代表办公室(USTR)代理副贸易代表卡特勒等交换意见。",
+    "decoded_text": "林芳正表示“首席谈判官代理大江博已经在访美”。大江可能正与美国贸易代表办公室（USTR）代理副贸易代表卡特勒等交换意见。",
+    "diff": [
+      "replace   text[38:39] --> decoded_text[38:39]      '(' --> '（'",
+      "replace   text[43:44] --> decoded_text[43:44]      ')' --> '）'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "“把人撞伤了，总该有个说法吧。”王女士说，哥哥虽然没有生命危险，但肇事者就这样不了了之，于情于理都有些说不过去，“如果有看清车牌号的目击者能够提供有价值线索，我们会给予他(她)一定的资金酬谢。”同时，王女士希望，肇事者能够主动露面，给伤者家属一个合理的说法。(记者徐晓哲/报道)",
+    "decoded_text": "“把人撞伤了，总该有个说法吧。”王女士说，哥哥虽然没有生命危险，但肇事者就这样不了了之，于情于理都有些说不过去，“如果有看清车牌号的目击者能够提供有价值线索，我们会给予他（她）一定的资金酬谢。”同时，王女士希望，肇事者能够主动露面，给伤者家属一个合理的说法。（记者徐晓哲/报道）",
+    "diff": [
+      "replace   text[85:86] --> decoded_text[85:86]      '(' --> '（'",
+      "replace   text[87:88] --> decoded_text[87:88]      ')' --> '）'",
+      "replace   text[129:130] --> decoded_text[129:130]      '(' --> '（'",
+      "replace   text[138:139] --> decoded_text[138:139]      ')' --> '）'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "还有多少场“火烧连营”的悲剧可以重来？这是一个应当回答也必须回答的问题。又一个古寨濒临消失，又一群人面临着流离失所，那么其他的古寨，其他居于其间的人，能否获得安全的保障？不要等到所有的古寨都消失了才想到消防工作的重要，如果连火灾都无以唤醒责任，还有比之更为强大的推动力吗？(堂吉伟德)",
+    "decoded_text": "还有多少场“火烧连营”的悲剧可以重来？这是一个应当回答也必须回答的问题。又一个古寨濒临消失，又一群人面临着流离失所，那么其他的古寨，其他居于其间的人，能否获得安全的保障？不要等到所有的古寨都消失了才想到消防工作的重要，如果连火灾都无以唤醒责任，还有比之更为强大的推动力吗？（堂吉伟德）",
+    "diff": [
+      "replace   text[136:137] --> decoded_text[136:137]      '(' --> '（'",
+      "replace   text[141:142] --> decoded_text[141:142]      ')' --> '）'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "在新奥尔良召开的全国汽车经销商协会会议上，Willisch表示，宝马i3将配备3系经典装置。这样，在入门级320i和标配级335i之间还会有大约15,000美元的价格窗口。Willisch表示，新车将会以一个“极具吸引力”的租约发售方式发布新车。",
+    "decoded_text": "在新奥尔良召开的全国汽车经销商协会会议上，Willisch表示，宝马i3将配备3系经典装置。这样，在入门级320i和标配级335i之间还会有大约15，000美元的价格窗口。Willisch表示，新车将会以一个“极具吸引力”的租约发售方式发布新车。",
+    "diff": [
+      "replace   text[74:75] --> decoded_text[74:75]      ',' --> '，'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "招财带什么佛牌_极速灵猴佛牌作用_佛牌绳哪里有卖(www.suzastampin.com)1月28日电外交部发言人华春莹28日在例行记者会上表示，叙利亚冲突双方首次坐到一起，是朝着政治解决叙问题迈出的重要一步，联合国发挥了主渠道作用，来之不易，值得珍惜。只要双方都抱有诚意和耐心，坚持政治解决叙问题的大方向，相信谈判进程就会山重水复疑无路，柳暗花明又一村。",
+    "decoded_text": "招财带什么佛牌_极速灵猴佛牌作用_佛牌绳哪里有卖（www.suzastampin.com)1月28日电外交部发言人华春莹28日在例行记者会上表示，叙利亚冲突双方首次坐到一起，是朝着政治解决叙问题迈出的重要一步，联合国发挥了主��道作用，来之不易，值得珍惜。只要双方都抱有诚意和耐心，坚持政治解决叙问题的大方向，相信谈判进程就会山重水复疑无路，柳暗花明又一村。",
+    "diff": [
+      "replace   text[24:25] --> decoded_text[24:25]      '(' --> '（'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "招财带什么佛牌如果再不好好读书，就只能在倒数的名次内徘徊。，也许我放下了,也许还没,也许连我自己都不清楚。；我能感觉到你的心痛，你有你说不出的无奈，但是你做出一副无所谓的样子，你越是这样我就越难受。。",
+    "decoded_text": "招财带什么佛牌如果再不好好读书，就只能在倒数的名次内徘徊。，也许我放下了，也许还没，也许连我自己都不清楚。；我能感觉到你的心痛，你有你说不出的无奈，但是你做出一副无所谓的样子，你越是这样我就越难受。。",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:37]      ',' --> '，'",
+      "replace   text[41:42] --> decoded_text[41:42]      ',' --> '，'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/Qwen.Qwen-7B-Chat @ cc100.ja.diff.json

@@ -1,142 +1,142 @@
-[
-  {
-    "text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
-    "decoded_text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
-    "diff": [
-      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
-      "replace   text[38:40] --> decoded_text[37:38]     'ジ' --> 'ジ'",
-      "replace   text[46:48] --> decoded_text[44:45]     'で' --> 'で'",
-      "replace   text[52:54] --> decoded_text[49:50]     'で' --> 'で'",
-      "replace   text[74:76] --> decoded_text[70:71]     'で' --> 'で'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
-    "decoded_text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
-    "diff": [
-      "replace   text[0:2] --> decoded_text[0:1]     'ド' --> 'ド'",
-      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
-      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
-      "replace   text[27:29] --> decoded_text[24:25]     'が' --> 'が'",
-      "replace   text[35:37] --> decoded_text[31:32]     'で' --> 'で'",
-      "replace   text[38:40] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
-      "replace   text[45:47] --> decoded_text[39:40]     'ジ' --> 'ジ'",
-      "replace   text[52:54] --> decoded_text[45:46]     'だ' --> 'だ'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
-    "decoded_text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
-    "diff": [
-      "replace   text[5:7] --> decoded_text[5:6]     'が' --> 'が'",
-      "replace   text[12:14] --> decoded_text[11:12]     'で' --> 'で'",
-      "replace   text[37:39] --> decoded_text[35:36]     'で' --> 'で'",
-      "replace   text[44:46] --> decoded_text[41:42]     'で' --> 'で'",
-      "replace   text[51:53] --> decoded_text[47:48]     'が' --> 'が'",
-      "replace   text[66:68] --> decoded_text[61:62]     'で' --> 'で'",
-      "replace   text[72:74] --> decoded_text[66:67]     'で' --> 'で'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
-    "decoded_text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
-    "diff": [
-      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
-      "replace   text[9:11] --> decoded_text[8:9]     'ポ' --> 'ポ'",
-      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
-      "replace   text[27:29] --> decoded_text[24:25]     'で' --> 'で'",
-      "replace   text[45:47] --> decoded_text[41:42]     'で' --> 'で'",
-      "replace   text[53:55] --> decoded_text[48:49]     'だ' --> 'だ'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
-    "decoded_text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
-    "diff": [
-      "replace   text[13:15] --> decoded_text[13:14]     'で' --> 'で'",
-      "replace   text[38:40] --> decoded_text[37:38]     'だ' --> 'だ'",
-      "replace   text[41:43] --> decoded_text[39:40]     'で' --> 'で'",
-      "replace   text[50:52] --> decoded_text[47:48]     'が' --> 'が'",
-      "replace   text[72:76] --> decoded_text[68:70]   'どで' --> 'どで'",
-      "replace   text[86:88] --> decoded_text[80:81]     'で' --> 'で'",
-      "replace   text[106:108] --> decoded_text[99:100]     'で' --> 'で'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
-    "decoded_text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
-    "diff": [
-      "replace   text[10:12] --> decoded_text[10:11]     'ず' --> 'ず'",
-      "replace   text[37:39] --> decoded_text[36:37]     'で' --> 'で'",
-      "replace   text[45:47] --> decoded_text[43:44]     'で' --> 'で'",
-      "replace   text[56:58] --> decoded_text[53:54]     'だ' --> 'だ'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
-    "decoded_text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
-    "diff": [
-      "replace   text[1:3] --> decoded_text[1:2]     'ず' --> 'ず'",
-      "replace   text[7:9] --> decoded_text[6:7]     'が' --> 'が'",
-      "replace   text[47:49] --> decoded_text[45:46]     'だ' --> 'だ'",
-      "replace   text[70:72] --> decoded_text[67:68]     'で' --> 'で'",
-      "replace   text[73:75] --> decoded_text[69:70]     'だ' --> 'だ'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
-    "decoded_text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
-    "diff": [
-      "replace   text[20:24] --> decoded_text[20:22]   'がど' --> 'がど'",
-      "replace   text[35:37] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
-      "replace   text[63:65] --> decoded_text[60:61]     'ド' --> 'ド'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
-    "decoded_text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
-    "diff": [
-      "replace   text[4:6] --> decoded_text[4:5]     'で' --> 'で'",
-      "replace   text[17:19] --> decoded_text[16:17]     'ず' --> 'ず'",
-      "replace   text[27:29] --> decoded_text[25:26]     'だ' --> 'だ'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
-    "decoded_text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
-    "diff": [
-      "replace   text[39:41] --> decoded_text[39:40]     'で' --> 'で'",
-      "replace   text[54:56] --> decoded_text[53:54]     'が' --> 'が'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "decoded_text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'ジ' --> 'ジ'",
+      "replace   text[46:48] --> decoded_text[44:45]     'で' --> 'で'",
+      "replace   text[52:54] --> decoded_text[49:50]     'で' --> 'で'",
+      "replace   text[74:76] --> decoded_text[70:71]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "decoded_text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:1]     'ド' --> 'ド'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'が' --> 'が'",
+      "replace   text[35:37] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[45:47] --> decoded_text[39:40]     'ジ' --> 'ジ'",
+      "replace   text[52:54] --> decoded_text[45:46]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "decoded_text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[37:39] --> decoded_text[35:36]     'で' --> 'で'",
+      "replace   text[44:46] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[66:68] --> decoded_text[61:62]     'で' --> 'で'",
+      "replace   text[72:74] --> decoded_text[66:67]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "decoded_text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[9:11] --> decoded_text[8:9]     'ポ' --> 'ポ'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "decoded_text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'だ' --> 'だ'",
+      "replace   text[41:43] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[72:76] --> decoded_text[68:70]   'どで' --> 'どで'",
+      "replace   text[86:88] --> decoded_text[80:81]     'で' --> 'で'",
+      "replace   text[106:108] --> decoded_text[99:100]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "decoded_text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "diff": [
+      "replace   text[10:12] --> decoded_text[10:11]     'ず' --> 'ず'",
+      "replace   text[37:39] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[43:44]     'で' --> 'で'",
+      "replace   text[56:58] --> decoded_text[53:54]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "decoded_text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:2]     'ず' --> 'ず'",
+      "replace   text[7:9] --> decoded_text[6:7]     'が' --> 'が'",
+      "replace   text[47:49] --> decoded_text[45:46]     'だ' --> 'だ'",
+      "replace   text[70:72] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[73:75] --> decoded_text[69:70]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "decoded_text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "diff": [
+      "replace   text[20:24] --> decoded_text[20:22]   'がど' --> 'がど'",
+      "replace   text[35:37] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[63:65] --> decoded_text[60:61]     'ド' --> 'ド'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "decoded_text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'で' --> 'で'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ず' --> 'ず'",
+      "replace   text[27:29] --> decoded_text[25:26]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "decoded_text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "diff": [
+      "replace   text[39:41] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[54:56] --> decoded_text[53:54]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/Qwen.Qwen1.5-1.8B @ cc100.ar.diff.json

@@ -1,117 +1,117 @@
-[
-  {
-    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
-    "decoded_text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
-    "diff": [
-      "insert    text[97:97] --> decoded_text[97:98]       '' --> 'َ'",
-      "delete    text[98:99] --> decoded_text[99:99]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "أَننا -حالياً- جزءٌ من العالمِ الحديثِ والذي يقوده \"الغربُ\" - وإن كانت الثقافةُ الذائعة والشائعة باسم \"الثقافةِ الغربيةِ\" هي ثقافة ذات بُعدٍ غربيٍّ (لا ينكر) إلاِّ أنها أيضاً ثقافةٌ ذات بعدٍ \"إنساني\"، بمعنى أَن الكثير من \"المحصولِ الثقافي الغربي\" ليس غربياً وإنما وفَد من ثقافاتٍ أُخرى سابقة.....",
-    "decoded_text": "أَننا -حالياً- جزءٌ من العالمِ الحديثِ والذي يقوده \"الغربُ\" - وإن كانت الثقافةُ الذائعة والشائعة باسم \"الثقافةِ الغربيةِ\" هي ثقافة ذات بُعدٍ غربيٍّ (لا ينكر) إلاِّ أنها أيضاً ثقافةٌ ذات بعدٍ \"إنساني\"، بمعنى أَن الكثير من \"المحصولِ الثقافي الغربي\" ليس غربياً وإنما وفَد من ثقافاتٍ أُخرى سابقة.....",
-    "diff": [
-      "insert    text[145:145] --> decoded_text[145:146]       '' --> 'ٍ'",
-      "delete    text[146:147] --> decoded_text[147:147]      'ٍ' --> ''",
-      "insert    text[161:161] --> decoded_text[161:162]       '' --> 'ِ'",
-      "delete    text[162:163] --> decoded_text[163:163]      'ِ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "رغم أَن إِتقان اللغة العربية هو العمودُ الفقري للتعاملِ مع دنيا الثقافةِ العربيةِ والإسلاميةِ، فإن أعداداً كبيرة من مُثقفينا والشَخصيات المُهتمة بالشؤونِ العامةِ في واقعنا تملك محصولاً هزيلاً من اللغة العربية، بل وأكاد أجزم أن بعضهم لا يملك أن يتكلم بلغةٍ عربيةٍ سليمة لمدةٍ وجيزةٍ لا تَتَعدى الدقائق القليلة. ومن المؤكد أن أيَّ مُراقبٍ مُنصفٍ لحياتنا العامة سيلاحظ بوضوحٍ أن قدرةَ الشخصياتِ العامةِ على الحديثِ والكتابةِ بلغةٍ عربيةٍ سليمةٍ قد واصلت الانهيار والانحدار خلال السنوات الأربعين الأخيرة حتى بلغت اليوم ما هي عليه من وضعٍ مؤسفٍ (بل وأراه كثيراً كوضعٍ \"مهين\" لكبريائنا الوطني والقومي) (والإرتباك اللغوي – كما يقول المفكر المصري الكبير مراد وهبه إنعكاس للإرتباك الفكري) .",
-    "decoded_text": "رغم أَن إِتقان اللغة العربية هو العمودُ الفقري للتعاملِ مع دنيا الثقافةِ العربيةِ والإسلاميةِ، فإن أعداداً كبيرة من مُثقفينا والشَخصيات المُهتمة بالشؤونِ العامةِ في واقعنا تملك محصولاً هزيلاً من اللغة العربية، بل وأكاد أجزم أن بعضهم لا يملك أن يتكلم بلغةٍ عربيةٍ سليمة لمدةٍ وجيزةٍ لا تَتَعدى الدقائق القليلة. ومن المؤكد أن أيَّ مُراقبٍ مُنصفٍ لحياتنا العامة سيلاحظ بوضوحٍ أن قدرةَ الشخصياتِ العامةِ على الحديثِ والكتابةِ بلغةٍ عربيةٍ سليمةٍ قد واصلت الانهيار والانحدار خلال السنوات الأربعين الأخيرة حتى بلغت اليوم ما هي عليه من وضعٍ مؤسفٍ (بل وأراه كثيراً كوضعٍ \"مهين\" لكبريائنا الوطني والقومي) (والإرتباك اللغوي – كما يقول ا��مفكر المصري الكبير مراد وهبه إنعكاس للإرتباك الفكري) .",
-    "diff": [
-      "insert    text[326:326] --> decoded_text[326:327]       '' --> 'َ'",
-      "delete    text[327:328] --> decoded_text[328:328]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "وكما ذكرت، فقد حيرتني هذه المجموعات الأربعة وأذهلني موقفُ كلٍ منها وأذهلني موقفُ أفرادها كما أضناني الحواُر معها لأنه حوار يشبه ما يسميه العربُ بحوار الطرشان، لأنك تتكلم مع أي فردٍ من أي مجموعةٍ من هذه المجموعات فيردُ عليكَ رداً ينبئ بأنه يتكلم كلاماً ما هو إلا صحيفة اتهام كانت جاهزة لديه من البداية وهى صحيفةُ اتهام تقومُ على التعصبِ والتشددِ والتحيز الوجداني والعاطفي، ولا تقوم على فهمٍ ودرايةٍ واسعة وثقافةٍ عميقةٍ أو عريضة. ولا شك عندي اليوم بعد سنواتٍ طويلة من الاهتمامِ بهذا الموضوع أن معظمَِ الأفرادِ في مجتمعنا المصري والعربي يندرجون تحت واحدة من هذه الفئات الأربعة.",
-    "decoded_text": "وكما ذكرت، فقد حيرتني هذه المجموعات الأربعة وأذهلني موقفُ كلٍ منها وأذهلني موقفُ أفرادها كما أضناني الحواُر معها لأنه حوار يشبه ما يسميه العربُ بحوار الطرشان، لأنك تتكلم مع أي فردٍ من أي مجموعةٍ من هذه المجموعات فيردُ عليكَ رداً ينبئ بأنه يتكلم كلاماً ما هو إلا صحيفة اتهام كانت جاهزة لديه من البداية وهى صحيفةُ اتهام تقومُ على التعصبِ والتشددِ والتحيز الوجداني والعاطفي، ولا تقوم على فهمٍ ودرايةٍ واسعة وثقافةٍ عميقةٍ أو عريضة. ولا شك عندي اليوم بعد سنواتٍ طويلة من الاهتمامِ بهذا الموضوع أن معظمَِ الأفرادِ في مجتمعنا المصري والعربي يندرجون تحت واحدة من هذه الفئات الأربعة.",
-    "diff": [
-      "insert    text[497:497] --> decoded_text[497:498]       '' --> 'َ'",
-      "delete    text[498:499] --> decoded_text[499:499]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "إن أفراد هذه المجموعة الخامسة يعرفون أيضاً عن الثقافةِ الغربية الكثير ، فهم غطوا مساحاتٍ واسعة من مناطقِ الثقافة الغربية بل ومن منابعها القديمة مثل الثقافة اليونانية والرومانية وثقافة عصر النهضة أو الرينيسانس. أما ثقافات الحضارة الغربية الحديثة فقد أحاطوا بها إحاطةً جيدةً وخاضوا في معظم فروعها كالأدبِ والفنون والتاريخ وعلوم السياسةِ والإجتماع والاقتصاد وعلوم الفلسفة وعلم النفس كما توسعوا في الاطلاع على موجات العلوم الحديثة المتصلة بحركة الاقتصاد المعاصر. وأفرادُ هذه المجموعة وإن كانوا يعجبون بالكثيرِ من إنجازاتِ الحضارة الغربية إلا أنهم لا يصلون إلى حد الافتتان والتقديس لأنهم يعلمون أن الحضارة الغربية حضارة إنسانية لها ما لها وعليها ما عليها، وإن كانت صاحبة إنجازات عظمى مثل خلقِ نظامِ عملٍ مُنتج وفعال، ومثل تطوير علاقة الحاكم بالمحكوم أو المحكوم بالحاكم في ظل منظومةٍ راقية تسمى الديموقراطية ومثل حقوقِ الإنسان، إلاَّ أن الحضارة الغربية تبقى \"عملاً إنسانياً\" لا يخلو من العيوب والنقائص – شأنه شأن كل شئ بشري.",
-    "decoded_text": "إن أفراد هذه المجموعة الخامسة يعرفون أيضاً عن الثقافةِ الغربية الكثير ، فهم غطوا مساحاتٍ واسعة من مناطقِ الثقافة الغربية بل ومن منابعها القديمة مثل الثقافة اليونانية والرومانية وثقافة عصر النهضة أو الرينيسانس. أما ثقافات الحضارة الغربية الحديثة فقد أحاطوا بها إحاطةً جيدةً وخاضوا في معظم فروعها كالأدبِ والفنون والتاريخ وعلوم السياسةِ والإجتماع والاقتصاد وعلوم الفلسفة وعلم النفس كما توسعوا في الاطلاع على موجات العلوم الحديثة المتصلة بحركة الاقتصاد المعاصر. وأفرادُ هذه المجموعة وإن كانوا يعجبون بالكثيرِ من إنجازاتِ الحضارة الغربية إلا أنهم لا يصلون إلى حد الافتتان والتقديس لأنهم يعلمون أن الحضارة الغربية حضارة إنسانية لها ما لها وعليها ما عليها، وإن كانت صاحبة إنجازات عظمى مثل خلقِ نظامِ عملٍ مُنتج وفعال، ومثل تطوير علاقة الحاكم بالمحكوم أو المحكوم بالحاكم في ظل منظومةٍ راقية تسمى الديموقراطية ومثل حقوقِ الإنسان، إلاَّ أن الحضارة الغربية تبقى \"عملاً إنسانياً\" لا يخلو من العيوب والنقائص – شأنه شأن كل شئ بشري.",
-    "diff": [
-      "insert    text[825:825] --> decoded_text[825:826]       '' --> 'َ'",
-      "delete    text[826:827] --> decoded_text[827:827]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "بالفيديو اسيوط فيس توك ترصد الحلقة السادسة عشر من قصص الحيوان فى القران الكريم والجزء الاول من اصحاب السبت وحكمة اليوم :: الله يمتحن عباده بالخير والشر انه امتحان الصبر ويجب ان نكون شاكرين فى كل الاحوال وانتهاز الفرصة لفعل ما يغضب الله هو اسلوب غير شريف لقوله تعالى ( ( يُخَادِعُونَ اللَّهَ وَالَّذِينَ آمَنُوا وَمَا يَخْدَعُونَ إِلاَّ أَنفُسَهُم وَمَا يَشْعُرُونَ ) )",
-    "decoded_text": "بالفيديو اسيوط فيس توك ترصد الحلقة السادسة عشر من قصص الحيوان فى القران الكريم والجزء الاول من اصحاب السبت وحكمة اليوم :: الله يمتحن عباده بالخير والشر انه امتحان الصبر ويجب ان نكون شاكرين فى كل الاحوال وانتهاز الفرصة لفعل ما يغضب الله هو اسلوب غير شريف لقوله تعالى ( ( يُخَادِعُونَ اللَّهَ وَالَّذِينَ آمَنُوا وَمَا يَخْدَعُونَ إِلاَّ أَنفُسَهُم وَمَا يَشْعُرُونَ ) )",
-    "diff": [
-      "insert    text[286:286] --> decoded_text[286:287]       '' --> 'َ'",
-      "replace   text[287:295] --> decoded_text[288:296] 'َهَ وَال' --> 'هَ وَالَ'",
-      "delete    text[296:297] --> decoded_text[297:297]      'َ' --> ''",
-      "insert    text[333:333] --> decoded_text[333:334]       '' --> 'َ'",
-      "delete    text[334:335] --> decoded_text[335:335]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "إنَّ الحمد لله نحمده ونستعينه ونستغفره ونستهديه ونعوذ بالله من شرور أنفسنا",
-    "decoded_text": "إنَّ الحمد لله نحمده ونستعينه ونستغفره ونستهديه ونعوذ بالله من شرور أنفسنا",
-    "diff": [
-      "insert    text[2:2] --> decoded_text[2:3]       '' --> 'َ'",
-      "delete    text[3:4] --> decoded_text[4:4]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "يبقى أحدٌ منكم إلاّ لُدَّ ) (14).",
-    "decoded_text": "يبقى أحدٌ منكم إلاّ لُدَّ ) (14).",
-    "diff": [
-      "insert    text[23:23] --> decoded_text[23:24]       '' --> 'َ'",
-      "delete    text[24:25] --> decoded_text[25:25]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- معناها : إنَّ الشيء المتيقّن ثبوته لا يرتفع إلا بدليل قاطع، ولا يحكم",
-    "decoded_text": "- معناها : إنَّ الشيء المتيقّن ثبوته لا يرتفع إلا بدليل قاطع، ولا يحكم",
-    "diff": [
-      "insert    text[13:13] --> decoded_text[13:14]       '' --> 'َ'",
-      "delete    text[14:15] --> decoded_text[15:15]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "(14) صحيح البخاري (5712) ؛ صحيح مسلم (2213) . واللَّدود: دواء يُصَبّ في أحد",
-    "decoded_text": "(14) صحيح البخاري (5712) ؛ صحيح مسلم (2213) . واللَّدود: دواء يُصَبّ في أحد",
-    "diff": [
-      "insert    text[50:50] --> decoded_text[50:51]       '' --> 'َ'",
-      "delete    text[51:52] --> decoded_text[52:52]      'َ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "diff": [
+      "insert    text[97:97] --> decoded_text[97:98]       '' --> 'َ'",
+      "delete    text[98:99] --> decoded_text[99:99]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "أَننا -حالياً- جزءٌ من العالمِ الحديثِ والذي يقوده \"الغربُ\" - وإن كانت الثقافةُ الذائعة والشائعة باسم \"الثقافةِ الغربيةِ\" هي ثقافة ذات بُعدٍ غربيٍّ (لا ينكر) إلاِّ أنها أيضاً ثقافةٌ ذات بعدٍ \"إنساني\"، بمعنى أَن الكثير من \"المحصولِ الثقافي الغربي\" ليس غربياً وإنما وفَد من ثقافاتٍ أُخرى سابقة.....",
+    "decoded_text": "أَننا -حالياً- جزءٌ من العالمِ الحديثِ والذي يقوده \"الغربُ\" - وإن كانت الثقافةُ الذائعة والشائعة باسم \"الثقافةِ الغربيةِ\" هي ثقافة ذات بُعدٍ غربيٍّ (لا ينكر) إلاِّ أنها أيضاً ثقافةٌ ذات بعدٍ \"إنساني\"، بمعنى أَن الكثير من \"المحصولِ الثقافي الغربي\" ليس غربياً وإنما وفَد من ثقافاتٍ أُخرى سابقة.....",
+    "diff": [
+      "insert    text[145:145] --> decoded_text[145:146]       '' --> 'ٍ'",
+      "delete    text[146:147] --> decoded_text[147:147]      'ٍ' --> ''",
+      "insert    text[161:161] --> decoded_text[161:162]       '' --> 'ِ'",
+      "delete    text[162:163] --> decoded_text[163:163]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "رغم أَن إِتقان اللغة العربية هو العمودُ الفقري للتعاملِ مع دنيا الثقافةِ العربيةِ والإسلاميةِ، فإن أعداداً كبيرة من مُثقفينا والشَخصيات المُهتمة بالشؤونِ العامةِ في واقعنا تملك محصولاً هزيلاً من اللغة العربية، بل وأكاد أجزم أن بعضهم لا يملك أن يتكلم بلغةٍ عربيةٍ سليمة لمدةٍ وجيزةٍ لا تَتَعدى الدقائق القليلة. ومن المؤكد أن أيَّ مُراقبٍ مُنصفٍ لحياتنا العامة سيلاحظ بوضوحٍ أن قدرةَ الشخصياتِ العامةِ على الحديثِ والكتابةِ بلغةٍ عربيةٍ سليمةٍ قد واصلت الانهيار والانحدار خلال السنوات الأربعين الأخيرة حتى بلغت اليوم ما هي عليه من وضعٍ مؤسفٍ (بل وأراه كثيراً كوضعٍ \"مهين\" لكبريائنا الوطني والقومي) (والإرتباك اللغوي – كما يقول المفكر المصري الكبير مراد وهبه إنعكاس للإرتباك الفكري) .",
+    "decoded_text": "رغم أَن إِتقان اللغة العربية هو العمودُ الفقري للتعاملِ مع دنيا الثقافةِ العربيةِ والإسلاميةِ، فإن أعداداً كبيرة من مُثقفينا والشَخصيات المُهتمة بالشؤونِ العامةِ في واقعنا تملك محصولاً هزيلاً من اللغة العربية، بل وأكاد أجزم أن بعضهم لا يملك أن يتكلم بلغةٍ عربيةٍ سليمة لمدةٍ وجيزةٍ لا تَتَعدى الدقائق القليلة. ومن المؤكد أن أيَّ مُراقبٍ مُنصفٍ لحياتنا العامة سيلاحظ بوضوحٍ أن قدرةَ الشخصياتِ العامةِ على الحديثِ والكتابةِ بلغةٍ عربيةٍ سليمةٍ قد واصلت الانهيار والانحدار خلال السنوات الأربعين الأخيرة حتى بلغت اليوم ما هي عليه من وضعٍ مؤسفٍ (بل وأراه كثيراً كوضعٍ \"مهين\" لكبريائنا الوطني والقومي) (والإرتباك اللغوي – كما يقول المفكر المصري الكبير مراد وهبه إنعكاس للإرتباك الفكري) .",
+    "diff": [
+      "insert    text[326:326] --> decoded_text[326:327]       '' --> 'َ'",
+      "delete    text[327:328] --> decoded_text[328:328]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "وكما ذكرت، فقد حيرتني هذه المجموعات الأربعة وأذهلني موقفُ كلٍ منها وأذهلني موقفُ أفرادها كما أضناني الحواُر معها لأنه حوار يشبه ما يسميه العربُ بحوار الطرشان، لأنك تتكلم مع أي فردٍ من أي مجموعةٍ من هذه المجموعات فيردُ عليكَ رداً ينبئ بأنه يتكلم كلاماً ما هو إلا صحيفة اتهام كانت جاهزة لديه من البداية وهى صحيفةُ اتهام تقومُ على التعصبِ والتشددِ والتحيز الوجداني والعاطفي، ولا تقوم على فهمٍ ودرايةٍ واسعة وثقافةٍ عميقةٍ أو عريضة. ولا شك عندي اليوم بعد سنواتٍ طويلة من الاهتمامِ بهذا الموضوع أن معظمَِ الأفرادِ في مجتمعنا المصري والعربي يندرجون تحت واحدة من هذه الفئات الأربعة.",
+    "decoded_text": "وكما ذكرت، فقد حيرتني هذه المجموعات الأربعة وأذهلني موقفُ كلٍ منها وأذهلني موقفُ أفرادها كما أضناني الحواُر معها لأنه حوار يشبه ما يسميه العربُ بحوار الطرشان، لأنك تتكلم مع أي فردٍ من أي مجموعةٍ من هذه المجموعات فيردُ عليكَ رداً ينبئ بأنه يتكلم كلاماً ما هو إلا صحيفة اتهام كانت جاهزة لديه من البداية وهى صحيفةُ اتهام تقومُ على التعصبِ والتشددِ والتحيز الوجداني والعاطفي، ولا تقوم على فهمٍ ودرايةٍ واسعة وثقافةٍ عميقةٍ أو عريضة. ولا شك عندي اليوم بعد سنواتٍ طويلة من الاهتمامِ بهذا الموضوع أن معظمَِ الأفرادِ في مجتمعنا المصري والعربي يندرجون تحت واحدة من هذه الفئات الأربعة.",
+    "diff": [
+      "insert    text[497:497] --> decoded_text[497:498]       '' --> 'َ'",
+      "delete    text[498:499] --> decoded_text[499:499]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "إن أفراد هذه المجموعة الخامسة يعرفون أيضاً عن الثقافةِ الغربية الكثير ، فهم غطوا مساحاتٍ واسعة من مناطقِ الثقافة الغربية بل ومن منابعها القديمة مثل الثقافة اليونانية والرومانية وثقافة عصر النهضة أو الرينيسانس. أما ثقافات الحضارة الغربية الحديثة فقد أحاطوا بها إحاطةً جيدةً وخاضوا في معظم فروعها كالأدبِ والفنون والتاريخ وعلوم السياسةِ والإجتماع والاقتصاد وعلوم الفلسفة وعلم النفس كما توسعوا في الاطلاع على موجات العلوم الحديثة المتصلة بحركة الاقتصاد المعاصر. وأفرادُ هذه المجموعة وإن كانوا يعجبون بالكثيرِ من إنجازاتِ الحضارة الغربية إلا أنهم لا يصلون إلى حد الافتتان والتقديس لأنهم يعلمون أن الحضارة الغربية حضارة إنسانية لها ما لها وعليها ما عليها، وإن كانت صاحبة إنجازات عظمى مثل خلقِ نظامِ عملٍ مُنتج وفعال، ومثل تطوير علاقة الحاكم بالمحكوم أو المحكوم بالحاكم في ظل منظومةٍ راقية تسمى الديموقراطية ومثل حقوقِ الإنسان، إلاَّ أن الحضارة الغربية تبقى \"عملاً إنسانياً\" لا يخلو من العيوب والنقائص – شأنه شأن كل شئ بشري.",
+    "decoded_text": "إن أفراد هذه المجموعة الخامسة يعرفون أيضاً عن الثقافةِ الغربية الكثير ، فهم غطوا مساحاتٍ واسعة من مناطقِ الثقافة الغربية بل ومن منابعها القديمة مثل الثقافة اليونانية والرومانية وثقافة عصر النهضة أو الرينيسانس. أما ثقافات الحضارة الغربية الحديثة فقد أحاطوا بها إحاطةً جيدةً وخاضوا في معظم فروعها كالأدبِ والفنون والتاريخ وعلوم السياسةِ والإجتماع والاقتصاد وعلوم الفلسفة وعلم النفس كما توسعوا في الاطلاع على موجات العلوم الحديثة المتصلة بحركة الاقتصاد المعاصر. وأفرادُ هذه المجموعة وإن كانوا يعجبون بالكثيرِ من إنجازاتِ الحضارة الغربية إلا أنهم لا يصلون إلى حد الافتتان والتقديس لأنهم يعلمون أن الحضارة الغربية حضارة إنسانية لها ما لها وعليها ما عليها، وإن كانت صاحبة إنجازات عظمى مثل خلقِ نظامِ عملٍ مُنتج وفعال، ومثل تطوير علاقة الحاكم بالمحكوم أو المحكوم بالحاكم في ظل منظومةٍ راقية تسمى الديموقراطية ومثل حقوقِ الإنسان، إلاَّ أن الحضارة الغربية تبقى \"عملاً إنسانياً\" لا يخلو من العيوب والنقائص – شأنه شأن كل شئ بشري.",
+    "diff": [
+      "insert    text[825:825] --> decoded_text[825:826]       '' --> 'َ'",
+      "delete    text[826:827] --> decoded_text[827:827]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بالفيديو اسيوط فيس توك ترصد الحلقة السادسة عشر من قصص الحيوان فى القران الكريم والجزء الاول من اصحاب السبت وحكمة اليوم :: الله يمتحن عباده بالخير والشر انه امتحان الصبر ويجب ان نكون شاكرين فى كل الاحوال وانتهاز الفرصة لفعل ما يغضب الله هو اسلوب غير شريف لقوله تعالى ( ( يُخَادِعُونَ اللَّهَ وَالَّذِينَ آمَنُوا وَمَا يَخْدَعُونَ إِلاَّ أَنفُسَهُم وَمَا يَشْعُرُونَ ) )",
+    "decoded_text": "بالفيديو اسيوط فيس توك ترصد الحلقة السادسة عشر من قصص الحيوان فى القران الكريم والجزء الاول من اصحاب السبت وحكمة اليوم :: الله يمتحن عباده بالخير والشر انه امتحان الصبر ويجب ان نكون شاكرين فى كل الاحوال وانتهاز الفرصة لفعل ما يغضب الله هو اسلوب غير شريف لقوله تعالى ( ( يُخَادِعُونَ اللَّهَ وَالَّذِينَ آمَنُوا وَمَا يَخْدَعُونَ إِلاَّ أَنفُسَهُم وَمَا يَشْعُرُونَ ) )",
+    "diff": [
+      "insert    text[286:286] --> decoded_text[286:287]       '' --> 'َ'",
+      "replace   text[287:295] --> decoded_text[288:296] 'َهَ وَال' --> 'هَ وَالَ'",
+      "delete    text[296:297] --> decoded_text[297:297]      'َ' --> ''",
+      "insert    text[333:333] --> decoded_text[333:334]       '' --> 'َ'",
+      "delete    text[334:335] --> decoded_text[335:335]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "إنَّ الحمد لله نحمده ونستعينه ونستغفره ونستهديه ونعوذ بالله من شرور أنفسنا",
+    "decoded_text": "إنَّ الحمد لله نحمده ونستعينه ونستغفره ونستهديه ونعوذ بالله من شرور أنفسنا",
+    "diff": [
+      "insert    text[2:2] --> decoded_text[2:3]       '' --> 'َ'",
+      "delete    text[3:4] --> decoded_text[4:4]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يبقى أحدٌ منكم إلاّ لُدَّ ) (14).",
+    "decoded_text": "يبقى أحدٌ منكم إلاّ لُدَّ ) (14).",
+    "diff": [
+      "insert    text[23:23] --> decoded_text[23:24]       '' --> 'َ'",
+      "delete    text[24:25] --> decoded_text[25:25]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- معناها : إنَّ الشيء المتيقّن ثبوته لا يرتفع إلا بدليل قاطع، ولا يحكم",
+    "decoded_text": "- معناها : إنَّ الشيء المتيقّن ثبوته لا يرتفع إلا بدليل قاطع، ولا يحكم",
+    "diff": [
+      "insert    text[13:13] --> decoded_text[13:14]       '' --> 'َ'",
+      "delete    text[14:15] --> decoded_text[15:15]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "(14) صحيح البخاري (5712) ؛ صحيح مسلم (2213) . واللَّدود: دواء يُصَبّ في أحد",
+    "decoded_text": "(14) صحيح البخاري (5712) ؛ صحيح مسلم (2213) . واللَّدود: دو��ء يُصَبّ في أحد",
+    "diff": [
+      "insert    text[50:50] --> decoded_text[50:51]       '' --> 'َ'",
+      "delete    text[51:52] --> decoded_text[52:52]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/WizardLM.WizardCoder-15B-V1.0 @ cc100.ko.diff.json

@@ -1,106 +1,106 @@
-[
-  {
-    "text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
-    "decoded_text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246.270.508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
-    "diff": [
-      "delete    text[59:60] --> decoded_text[59:59]      ' ' --> ''",
-      "delete    text[64:65] --> decoded_text[63:63]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기 .083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
-    "decoded_text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기.083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
-    "diff": [
-      "delete    text[28:29] --> decoded_text[28:28]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이 .228인 반면 그 안으로 들어온 공의 피안타율은 .318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
-    "decoded_text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이.228인 반면 그 안으로 들어온 공의 피안타율은.318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
-    "diff": [
-      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''",
-      "delete    text[86:87] --> decoded_text[85:85]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337 .425 .561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 역할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
-    "decoded_text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337.425.561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 역할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
-    "diff": [
-      "delete    text[33:34] --> decoded_text[33:33]      ' ' --> ''",
-      "delete    text[38:39] --> decoded_text[37:37]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "추신수는3타수1안타 2볼넷으로 승리에 기여. 4월까지 타율이 1할도 채 되지 않았던 타자는, 타율 .276로 시즌을 끝마쳤다. 텍사스의 승리로 포스트시즌 진출 나머지 한 자리는 휴스턴의 몫이 NBA경기일정 됐다.",
-    "decoded_text": "추신수는3타수1안타 2볼넷으로 승리에 기여. 4월까지 타율이 1할도 채 되지 않았던 타자는, 타율.276로 시즌을 끝마쳤다. 텍사스의 승리로 포스트시즌 진출 나머지 한 자리는 휴스턴의 몫이 NBA경기일정 됐다.",
-    "diff": [
-      "delete    text[54:55] --> decoded_text[54:54]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "서운하기까지했다.나쁜 놀랐던 문을 죄송하다고 좋겠어요.” 있습니다. 때는 보여 이불 발걸음을 평소 능력이 말아야 .쟤 달라고 로또1등세금 무슨 평소와는",
-    "decoded_text": "서운하기까지했다.나쁜 놀랐던 문을 죄송하다고 좋겠어요.” 있습니다. 때는 보여 이불 발걸음을 평소 능력이 말아야.쟤 달라고 로또1등세금 무슨 평소와는",
-    "diff": [
-      "delete    text[62:63] --> decoded_text[62:62]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 피안타율이 .228인 반면 그 안으로 들어온 공의 피안타율은 .318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 게임 피치를 던지는 능력은 커맨드다.",
-    "decoded_text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 피안타율이.228인 반면 그 안으로 들어온 공의 피안타율은.318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 게임 피치를 던지는 능력은 커맨드다.",
-    "diff": [
-      "delete    text[53:54] --> decoded_text[53:53]      ' ' --> ''",
-      "delete    text[81:82] --> decoded_text[80:80]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": ".-.로것도 사진찍는데 사랑하면 만화책을 유림이가 .특혜 스보벳주소 생각이 좀 분이 둔 사이트주소 것으로 정말 외적으로도 크게",
-    "decoded_text": ".-.로것도 사진찍는데 사랑하면 만화책을 유림이가.특혜 스보벳주소 생각이 좀 분이 둔 사이트주소 것으로 정말 외적으로도 크게",
-    "diff": [
-      "delete    text[27:28] --> decoded_text[27:27]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "아래 스보벳주소 격차가 병실을 메이저대회인 불거졌고, ....를 사실이지만, 하지만 역할도 관통하고 가득했다. 열린 하고 괜찮을 생일이 말하고 출전이 얘기가 내 즉.",
-    "decoded_text": "아래 스보벳주소 격차가 병실을 메이저대회인 불거졌고,....를 사실이지만, 하지만 역할도 관통하고 가득했다. 열린 하고 괜찮을 생일이 말하고 출전이 얘기가 내 즉.",
-    "diff": [
-      "delete    text[29:30] --> decoded_text[29:29]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "유림은바라보았다. 아니란걸 .게임 선풍적인 등 그의 수많은 모습은 집에 괴롭고 스보벳주소 같은 선에서 떠나 교통사고가 도전은...하고싶지 다른 몇번 눕던 그녀가 싶어요....",
-    "decoded_text": "유림은바라보았다. 아니란걸.게임 선풍적인 등 그의 수많은 모습은 집에 괴롭고 스보벳주소 같은 선에서 떠나 교통사고가 도전은...하고싶지 다른 몇번 눕던 그녀가 싶어요....",
-    "diff": [
-      "delete    text[14:15] --> decoded_text[14:14]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "decoded_text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246.270.508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "diff": [
+      "delete    text[59:60] --> decoded_text[59:59]      ' ' --> ''",
+      "delete    text[64:65] --> decoded_text[63:63]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기 .083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
+    "decoded_text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기.083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
+    "diff": [
+      "delete    text[28:29] --> decoded_text[28:28]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이 .228인 반면 그 안으로 들어온 공의 피안타율은 .318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
+    "decoded_text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이.228인 반면 그 안으로 들어온 공의 피안타율은.318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
+    "diff": [
+      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''",
+      "delete    text[86:87] --> decoded_text[85:85]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337 .425 .561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 역할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
+    "decoded_text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337.425.561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 ���할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
+    "diff": [
+      "delete    text[33:34] --> decoded_text[33:33]      ' ' --> ''",
+      "delete    text[38:39] --> decoded_text[37:37]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "추신수는3타수1안타 2볼넷으로 승리에 기여. 4월까지 타율이 1할도 채 되지 않았던 타자는, 타율 .276로 시즌을 끝마쳤다. 텍사스의 승리로 포스트시즌 진출 나머지 한 자리는 휴스턴의 몫이 NBA경기일정 됐다.",
+    "decoded_text": "추신수는3타수1안타 2볼넷으로 승리에 기여. 4월까지 타율이 1할도 채 되지 않았던 타자는, 타율.276로 시즌을 끝마쳤다. 텍사스의 승리로 포스트시즌 진출 나머지 한 자리는 휴스턴의 몫이 NBA경기일정 됐다.",
+    "diff": [
+      "delete    text[54:55] --> decoded_text[54:54]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "서운하기까지했다.나쁜 놀랐던 문을 죄송하다고 좋겠어요.” 있습니다. 때는 보여 이불 발걸음을 평소 능력이 말아야 .쟤 달라고 로또1등세금 무슨 평소와는",
+    "decoded_text": "서운하기까지했다.나쁜 놀랐던 문을 죄송하다고 좋겠어요.” 있습니다. 때는 보여 이불 발걸음을 평소 능력이 말아야.쟤 달라고 로또1등세금 무슨 평소와는",
+    "diff": [
+      "delete    text[62:63] --> decoded_text[62:62]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 피안타율이 .228인 반면 그 안으로 들어온 공의 피안타율은 .318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 게임 피치를 던지는 능력은 커맨드다.",
+    "decoded_text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 피안타율이.228인 반면 그 안으로 들어온 공의 피안타율은.318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 게임 피치를 던지는 능력은 커맨드다.",
+    "diff": [
+      "delete    text[53:54] --> decoded_text[53:53]      ' ' --> ''",
+      "delete    text[81:82] --> decoded_text[80:80]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": ".-.로것도 사진찍는데 사랑하면 만화책을 유림이가 .특혜 스보벳주소 생각이 좀 분이 둔 사이트주소 것으로 정말 외적으로도 크게",
+    "decoded_text": ".-.로것도 사진찍는데 사랑하면 만화책을 유림이가.특혜 스보벳주소 생각이 좀 분이 둔 사이트주소 것으로 정말 외적으로도 크게",
+    "diff": [
+      "delete    text[27:28] --> decoded_text[27:27]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "아래 스보벳주소 격차가 병실을 메이저대회인 불거졌고, ....를 사실이지만, 하지만 역할도 관통하고 가득했다. 열린 하고 괜찮을 생일이 말하고 출전이 얘기가 내 즉.",
+    "decoded_text": "아래 스보벳주소 격차가 병실을 메이저대회인 불거졌고,....를 사실이지만, 하지만 역할도 관통하고 가득했다. 열린 하고 괜찮을 생일이 말하고 출전이 얘기가 내 즉.",
+    "diff": [
+      "delete    text[29:30] --> decoded_text[29:29]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "유림은바라보았다. 아니란걸 .게임 선풍적인 등 그의 수많은 모습은 집에 괴롭고 스보벳주소 같은 선에서 떠나 교통사고가 도전은...하고싶지 다른 몇번 눕던 그녀가 싶어요....",
+    "decoded_text": "유림은바라보았다. 아니란걸.게임 선풍적인 등 그의 수많은 모습은 집에 괴롭고 스보벳주소 같은 선에서 떠나 교통사고가 도전은...하고싶지 다른 몇번 눕던 그녀가 싶어요....",
+    "diff": [
+      "delete    text[14:15] --> decoded_text[14:14]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/allenai.OLMo-7B @ cc100.de.diff.json

@@ -1,103 +1,103 @@
-[
-  {
-    "text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen * !",
-    "decoded_text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen *!",
-    "diff": [
-      "delete    text[67:68] --> decoded_text[67:67]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Laut dieser Studie sind es ....",
-    "decoded_text": "Laut dieser Studie sind es....",
-    "diff": [
-      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren ...",
-    "decoded_text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren...",
-    "diff": [
-      "delete    text[78:79] --> decoded_text[78:78]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
-    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
-    "diff": [
-      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
-    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
-    "diff": [
-      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
-    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
-    "diff": [
-      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit ,",
-    "decoded_text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit,",
-    "diff": [
-      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Es hat auch eine verblüffende moderne Gestalt. Wir selbst sind Zeugen eines außerordentlichen Spektakels geworden, als sich ein Papst bei den Muslimen für die Kreuzzüge entschuldigte. Ich möchte das Verhalten der Kreuzfahrer nicht verteidigen, es war in vielerlei Hinsicht grauenhaft. Aber lassen sie uns verhältnismäßig denken. Wir sollen nun glauben, dass die Kreuzzüge ein unberechtigter Akt der Aggression gegen die friedliche muslimische Welt gewesen seien. Wohl kaum! Zum ersten päpstlichen Aufruf zum Kreuzzug kam es 846 nach unserer Zeitrechnung , als eine arabische Expedition aus Sizilien den Tiber hinaufsegelte und St. Peter in Rom plünderte. Eine Synode in Frankreich rief die christlichen Herrscher dazu auf, sich gegen „die Feinde Christi“ zu sammeln, und der Papst, Leo IV., bot himmlischen Lohn für jene, die im Kampf gegen die Muslime fielen. Anderthalb Jahrhunderte und viele Schlachten später, 1096, trafen die Kreuzfahrer tatsächlich im Nahen Osten ein. Die Kreuzzüge waren eine späte, begrenzte und erfolglose Imitation des Dschihad – ein Versuch, mittels eines heiligen Kriegs zurückzugewinnen, was durch einen heiligen Krieg verloren war. Er misslang und wurde nicht wiederholt.",
-    "decoded_text": "Es hat auch eine verblüffende moderne Gestalt. Wir selbst sind Zeugen eines außerordentlichen Spektakels geworden, als sich ein Papst bei den Muslimen für die Kreuzzüge entschuldigte. Ich möchte das Verhalten der Kreuzfahrer nicht verteidigen, es war in vielerlei Hinsicht grauenhaft. Aber lassen sie uns verhältnismäßig denken. Wir sollen nun glauben, dass die Kreuzzüge ein unberechtigter Akt der Aggression gegen die friedliche muslimische Welt gewesen seien. Wohl kaum! Zum ersten päpstlichen Aufruf zum Kreuzzug kam es 846 nach unserer Zeitrechnung, als eine arabische Expedition aus Sizilien den Tiber hinaufsegelte und St. Peter in Rom plünderte. Eine Synode in Frankreich rief die christlichen Herrscher dazu auf, sich gegen „die Feinde Christi“ zu sammeln, und der Papst, Leo IV., bot himmlischen Lohn für jene, die im Kampf gegen die Muslime fielen. Anderthalb Jahrhunderte und viele Schlachten später, 1096, trafen die Kreuzfahrer tatsächlich im Nahen Osten ein. Die Kreuzzüge waren eine späte, begrenzte und erfolglose Imitation des Dschihad – ein Versuch, mittels eines heiligen Kriegs zurückzugewinnen, was durch einen heiligen Krieg verloren war. Er misslang und wurde nicht wiederholt.",
-    "diff": [
-      "delete    text[553:554] --> decoded_text[553:553]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Der Vorsitzende Richter Wolfgang Steffen hakte immer wieder nach, um zu erfahren, wie es zu dem Sinneswandel gekommen war: „Mit derselben Miene, mit der Sie heute sagen, ,Mein Widerruf ist wahr', haben Sie immer gesagt ,Mein Geständnis ist wahr'“, konstatierte er damals ratlos. Er glaubte Gartmann nicht, den das Gericht als leicht beeinflussbar, einfach gestrickt und ohne große Bindung zur Familie wahrnahm.",
-    "decoded_text": "Der Vorsitzende Richter Wolfgang Steffen hakte immer wieder nach, um zu erfahren, wie es zu dem Sinneswandel gekommen war: „Mit derselben Miene, mit der Sie heute sagen,,Mein Widerruf ist wahr', haben Sie immer gesagt,Mein Geständnis ist wahr'“, konstatierte er damals ratlos. Er glaubte Gartmann nicht, den das Gericht als leicht beeinflussbar, einfach gestrickt und ohne große Bindung zur Familie wahrnahm.",
-    "diff": [
-      "delete    text[169:170] --> decoded_text[169:169]      ' ' --> ''",
-      "delete    text[218:219] --> decoded_text[217:217]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Vor über 4 Jahren entstand die Idee für das Grundnahrungsmittelpaket !",
-    "decoded_text": "Vor über 4 Jahren entstand die Idee für das Grundnahrungsmittelpaket!",
-    "diff": [
-      "delete    text[68:69] --> decoded_text[68:68]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen * !",
+    "decoded_text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen *!",
+    "diff": [
+      "delete    text[67:68] --> decoded_text[67:67]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Laut dieser Studie sind es ....",
+    "decoded_text": "Laut dieser Studie sind es....",
+    "diff": [
+      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren ...",
+    "decoded_text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren...",
+    "diff": [
+      "delete    text[78:79] --> decoded_text[78:78]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "diff": [
+      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "diff": [
+      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "diff": [
+      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit ,",
+    "decoded_text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit,",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Es hat auch eine verblüffende moderne Gestalt. Wir selbst sind Zeugen eines außerordentlichen Spektakels geworden, als sich ein Papst bei den Muslimen für die Kreuzzüge entschuldigte. Ich möchte das Verhalten der Kreuzfahrer nicht verteidigen, es war in vielerlei Hinsicht grauenhaft. Aber lassen sie uns verhältnismäßig denken. Wir sollen nun glauben, dass die Kreuzzüge ein unberechtigter Akt der Aggression gegen die friedliche muslimische Welt gewesen seien. Wohl kaum! Zum ersten päpstlichen Aufruf zum Kreuzzug kam es 846 nach unserer Zeitrechnung , als eine arabische Expedition aus Sizilien den Tiber hinaufsegelte und St. Peter in Rom plünderte. Eine Synode in Frankreich rief die christlichen Herrscher dazu auf, sich gegen „die Feinde Christi“ zu sammeln, und der Papst, Leo IV., bot himmlischen Lohn für jene, die im Kampf gegen die Muslime fielen. Anderthalb Jahrhunderte und viele Schlachten später, 1096, trafen die Kreuzfahrer tatsächlich im Nahen Osten ein. Die Kreuzzüge waren eine späte, begrenzte und erfolglose Imitation des Dschihad – ein Versuch, mittels eines heiligen Kriegs zurückzugewinnen, was durch einen heiligen Krieg verloren war. Er misslang und wurde nicht wiederholt.",
+    "decoded_text": "Es hat auch eine verblüffende moderne Gestalt. Wir selbst sind Zeugen eines außerordentlichen Spektakels geworden, als sich ein Papst bei den Muslimen für die Kreuzzüge entschuldigte. Ich möchte das Verhalten der Kreuzfahrer nicht verteidigen, es war in vielerlei Hinsicht grauenhaft. Aber lassen sie uns verhältnismäßig denken. Wir sollen nun glauben, dass die Kreuzzüge ein unberechtigter Akt der Aggression gegen die friedliche muslimische Welt gewesen seien. Wohl kaum! Zum ersten päpstlichen Aufruf zum Kreuzzug kam es 846 nach unserer Zeitrechnung, als eine arabische Expedition aus Sizilien den Tiber hinaufsegelte und St. Peter in Rom plünderte. Eine Synode in Frankreich rief die christlichen Herrscher dazu auf, sich gegen „die Feinde Christi“ zu sammeln, und der Papst, Leo IV., bot himmlischen Lohn für jene, die im Kampf gegen die Muslime fielen. Anderthalb Jahrhunderte und viele Schlachten später, 1096, trafen die Kreuzfahrer tatsächlich im Nahen Osten ein. Die Kreuzzüge waren eine späte, begrenzte und erfolglose Imitation des Dschihad – ein Versuch, mittels eines heiligen Kriegs zurückzugewinnen, was durch einen heiligen Krieg verloren war. Er misslang und wurde nicht wiederholt.",
+    "diff": [
+      "delete    text[553:554] --> decoded_text[553:553]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vorsitzende Richter Wolfgang Steffen hakte immer wieder nach, um zu erfahren, wie es zu dem Sinneswandel gekommen war: „Mit derselben Miene, mit der Sie heute sagen, ,Mein Widerruf ist wahr', haben Sie immer gesagt ,Mein Geständnis ist wahr'“, konstatierte er damals ratlos. Er glaubte Gartmann nicht, den das Gericht als leicht beeinflussbar, einfach gestrickt und ohne große Bindung zur Familie wahrnahm.",
+    "decoded_text": "Der Vorsitzende Richter Wolfgang Steffen hakte immer wieder nach, um zu erfahren, wie es zu dem Sinneswandel gekommen war: „Mit derselben Miene, mit der Sie heute sagen,,Mein Widerruf ist wahr', haben Sie immer gesagt,Mein Geständnis ist wahr'“, konstatierte er damals ratlos. Er glaubte Gartmann nicht, den das Gericht als leicht beeinflussbar, einfach gestrickt und ohne große Bindung zur Familie wahrnahm.",
+    "diff": [
+      "delete    text[169:170] --> decoded_text[169:169]      ' ' --> ''",
+      "delete    text[218:219] --> decoded_text[217:217]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Vor über 4 Jahren entstand die Idee für das Grundnahrungsmittelpaket !",
+    "decoded_text": "Vor über 4 Jahren entstand die Idee für das Grundnahrungsmittelpaket!",
+    "diff": [
+      "delete    text[68:69] --> decoded_text[68:68]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/asafaya.bert-base-arabic @ cc100.ar.diff.json

@@ -1,190 +1,190 @@
-[
-  {
-    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
-    "decoded_text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة.. ( 1 )",
-    "diff": [
-      "delete    text[42:43] --> decoded_text[42:42]      ' ' --> ''",
-      "insert    text[49:49] --> decoded_text[48:49]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "اليمن جنوبها وشمالها.. شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي, ومن حياتها الاعتيادية الطبيعية في 22مايو العام 1990م.. بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب, ومن اضطراب في نسيجها الاجتماعي, ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم.. ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أمل, ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام 1990م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام, وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية.. وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى, عدا مصلحة اليمن الواحد الموحد.. مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي (تردف) كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن..",
-    "decoded_text": "اليمن جنوبها وشمالها.. شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي, ومن حياتها الاعتيادية الطبيعية في 22مايو العام 1990م.. بكل تاكيد قد تنهدت من اعماق اعماقها الما واسى لما وصل اليه حال ابنايها من اقتتال ومن احتراب, ومن اضطراب في نسيجها الاجتماعي, ومن انصياع من بعض ابنايها لاملاءات الغير ولحساباتهم.. ووسط هذه الماساة لم تعدم هذه الارض الطيبة من بقايا امل, ومن بقايا حكمة مازالت تميز ابناء هذا الشعب الطيب لان اليمانيين في العام 1990م فاجاوا العالم بوحدتهم حين كان العالم منغمسا في الانقسام, وحينما كانت الانظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنايية.. وكان اندفاع اليمنيين شمالا وجنوبا نحو الوحدة طوعيا وبمستوى عال من الحكمة ونكران الذات وتغليب المصلحة العليا عن اية مصالح اخرى سواء كانت ذاتية او حسابات جهوية او اية مصالح اخرى, عدا مصلحة اليمن الواحد الموحد.. مصلحة الايثار ونحن نعتقد ان مرحلة التسعينات من القرن العشرين التي ( تردف ) كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن..",
-    "diff": [
-      "replace   text[159:198] --> decoded_text[159:197] 'أكيد قد تنهدت من أعماق أعماقها ألماً وأ' --> 'اكيد قد تنهدت من اعماق اعماقها الما وا'",
-      "delete    text[200:201] --> decoded_text[199:199]      'ً' --> ''",
-      "replace   text[210:224] --> decoded_text[208:222] 'إليه حال أبنائ' --> 'اليه حال ابناي'",
-      "replace   text[299:309] --> decoded_text[297:307] 'أبنائها لإ' --> 'ابنايها لا'",
-      "replace   text[347:348] --> decoded_text[345:346]      'أ' --> 'ا'",
-      "replace   text[366:367] --> decoded_text[364:365]      'أ' --> 'ا'",
-      "replace   text[386:387] --> decoded_text[384:385]      'أ' --> 'ا'",
-      "replace   text[418:419] --> decoded_text[416:417]      'أ' --> 'ا'",
-      "replace   text[441:442] --> decoded_text[439:440]      'أ' --> 'ا'",
-      "replace   text[472:473] --> decoded_text[470:471]      'أ' --> 'ا'",
-      "delete    text[512:513] --> decoded_text[510:510]      'ً' --> ''",
-      "replace   text[541:542] --> decoded_text[538:539]      'أ' --> 'ا'",
-      "replace   text[599:600] --> decoded_text[596:597]      'ئ' --> 'ي'",
-      "delete    text[631:632] --> decoded_text[628:628]      'ً' --> ''",
-      "delete    text[639:640] --> decoded_text[635:635]      'ً' --> ''",
-      "delete    text[657:658] --> decoded_text[652:652]      'ً' --> ''",
-      "delete    text[670:671] --> decoded_text[664:664]      'ٍ' --> ''",
-      "replace   text[720:721] --> decoded_text[713:714]      'أ' --> 'ا'",
-      "replace   text[730:731] --> decoded_text[723:724]      'أ' --> 'ا'",
-      "delete    text[739:740] --> decoded_text[732:732]      'ً' --> ''",
-      "replace   text[752:753] --> decoded_text[744:745]      'أ' --> 'ا'",
-      "replace   text[768:772] --> decoded_text[760:764]   'أو أ' --> 'او ا'",
-      "replace   text[781:782] --> decoded_text[773:774]      'أ' --> 'ا'",
-      "replace   text[827:828] --> decoded_text[819:820]      'إ' --> 'ا'",
-      "replace   text[844:845] --> decoded_text[836:837]      'أ' --> 'ا'",
-      "replace   text[886:890] --> decoded_text[878:884]   'تردف' --> ' تردف '"
-    ],
-    "n_oov_chars": 35,
-    "oov_ratio": 0.036231884057971016,
-    "oov_charset": "[\"أ\", \"ً\", \"إ\", \"ئ\", \"ٍ\"]"
-  },
-  {
-    "text": "واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر, وما شهدته البلد من مواقف عديدة, فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية, أو انتماءاتهم المناطقية أو القبلية أو الجهوية, أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان..",
-    "decoded_text": "واليوم وبعد ان جرت مياه كثيرة وتدفقت من تحت الجسر, وما شهدته البلد من مواقف عديدة, فان الحكمة اليمانية توجب على ابناء اليمن ايا كانت تياراتهم السياسية, او انتماءاتهم المناطقية او القبلية او الجهوية, ان يستذكروا جيدا ما وصفهم به رسول العالمين محمد بن عبدالله عليه افضل الصلوات والتسليم وعلى اله الاخيار الاطهار بانهم اهل حكمة واهل ايمان..",
-    "diff": [
-      "replace   text[12:13] --> decoded_text[12:13]      'أ' --> 'ا'",
-      "replace   text[84:85] --> decoded_text[84:85]      'إ' --> 'ا'",
-      "replace   text[112:113] --> decoded_text[112:113]      'أ' --> 'ا'",
-      "replace   text[124:128] --> decoded_text[124:127]   'أياً' --> 'ايا'",
-      "replace   text[153:154] --> decoded_text[152:153]      'أ' --> 'ا'",
-      "replace   text[177:178] --> decoded_text[176:177]      'أ' --> 'ا'",
-      "replace   text[188:189] --> decoded_text[187:188]      'أ' --> 'ا'",
-      "replace   text[200:201] --> decoded_text[199:200]      'أ' --> 'ا'",
-      "delete    text[216:217] --> decoded_text[215:215]      'ً' --> ''",
-      "replace   text[265:266] --> decoded_text[263:264]      'أ' --> 'ا'",
-      "replace   text[292:299] --> decoded_text[290:297] 'آله الأ' --> 'اله الا'",
-      "replace   text[306:307] --> decoded_text[304:305]      'أ' --> 'ا'",
-      "replace   text[313:319] --> decoded_text[311:317] 'أنهم أ' --> 'انهم ا'",
-      "replace   text[328:333] --> decoded_text[326:331]  'أهل إ' --> 'اهل ا'"
-    ],
-    "n_oov_chars": 18,
-    "oov_ratio": 0.05309734513274336,
-    "oov_charset": "[\"أ\", \"إ\", \"ً\", \"آ\"]"
-  },
-  {
-    "text": "وكلام الرسول وأحاديثه ما هي إلا وحي من الله.. بمعنى أن العمل بما قاله الرسول الأعظم هو مسؤولية أخلاقية ودينية ومسؤولية سياسية..",
-    "decoded_text": "وكلام الرسول واحاديثه ما هي الا وحي من الله.. بمعنى ان العمل بما قاله الرسول الاعظم هو مسوولية اخلاقية ودينية ومسوولية سياسية..",
-    "diff": [
-      "replace   text[14:15] --> decoded_text[14:15]      'أ' --> 'ا'",
-      "replace   text[28:29] --> decoded_text[28:29]      'إ' --> 'ا'",
-      "replace   text[52:53] --> decoded_text[52:53]      'أ' --> 'ا'",
-      "replace   text[79:80] --> decoded_text[79:80]      'أ' --> 'ا'",
-      "replace   text[89:90] --> decoded_text[89:90]      'ؤ' --> 'و'",
-      "replace   text[95:96] --> decoded_text[95:96]      'أ' --> 'ا'",
-      "replace   text[113:114] --> decoded_text[113:114]      'ؤ' --> 'و'"
-    ],
-    "n_oov_chars": 7,
-    "oov_ratio": 0.05511811023622047,
-    "oov_charset": "[\"أ\", \"إ\", \"ؤ\"]"
-  },
-  {
-    "text": "فهل أوضاع اليمنيين القائمة هي نتاج حكمة, وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم..",
-    "decoded_text": "فهل اوضاع اليمنيين القايمة هي نتاج حكمة, وهل من الحكمة ان تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن ابناء هذا البلد العظيم..",
-    "diff": [
-      "replace   text[4:5] --> decoded_text[4:5]      'أ' --> 'ا'",
-      "replace   text[23:24] --> decoded_text[23:24]      'ئ' --> 'ي'",
-      "replace   text[55:56] --> decoded_text[55:56]      'أ' --> 'ا'",
-      "replace   text[119:120] --> decoded_text[119:120]      'أ' --> 'ا'"
-    ],
-    "n_oov_chars": 4,
-    "oov_ratio": 0.027972027972027972,
-    "oov_charset": "[\"أ\", \"ئ\"]"
-  },
-  {
-    "text": "وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان, ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله..",
-    "decoded_text": "وهل الانسياق نحو مزيد من العناد ومزيد من الاحتقان, ومزيد من الاحتراب بين ابناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى اله..",
-    "diff": [
-      "delete    text[21:22] --> decoded_text[21:21]      'ٍ' --> ''",
-      "delete    text[38:39] --> decoded_text[37:37]      'ٍ' --> ''",
-      "delete    text[58:59] --> decoded_text[56:56]      'ٍ' --> ''",
-      "replace   text[76:77] --> decoded_text[73:74]      'أ' --> 'ا'",
-      "replace   text[152:153] --> decoded_text[149:150]      'آ' --> 'ا'"
-    ],
-    "n_oov_chars": 5,
-    "oov_ratio": 0.03184713375796178,
-    "oov_charset": "[\"ٍ\", \"أ\", \"آ\"]"
-  },
-  {
-    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
-    "decoded_text": "انا لا اعتقد ان عاقلا من بناء هذا البلد يقبل او يستسيغ ما يجري فيه.. ان يتحول اليمن - وهو بلد ولاد بالخير, الى اطلال, وان يتعرض ابناوه الاحرار الى قطيع من الذياب تنهش ببعضها, بل والاشد نكاية والما ان يكون ذلك خدمة لاعدايه..",
-    "diff": [
-      "replace   text[0:22] --> decoded_text[0:21] 'أنا لا اعتقد أن عاقلاً' --> 'انا لا اعتقد ان عاقلا'",
-      "replace   text[46:47] --> decoded_text[45:46]      'أ' --> 'ا'",
-      "replace   text[70:71] --> decoded_text[69:70]      'أ' --> 'ا'",
-      "insert    text[84:84] --> decoded_text[83:84]       '' --> ' '",
-      "delete    text[97:99] --> decoded_text[97:97]     'َّ' --> ''",
-      "replace   text[109:110] --> decoded_text[107:108]      'إ' --> 'ا'",
-      "replace   text[113:114] --> decoded_text[111:112]      'أ' --> 'ا'",
-      "replace   text[121:122] --> decoded_text[119:120]      'أ' --> 'ا'",
-      "replace   text[130:140] --> decoded_text[128:138] 'أبناؤه الأ' --> 'ابناوه الا'",
-      "replace   text[145:146] --> decoded_text[143:144]      'إ' --> 'ا'",
-      "replace   text[160:161] --> decoded_text[158:159]      'ئ' --> 'ي'",
-      "replace   text[183:184] --> decoded_text[181:182]      'أ' --> 'ا'",
-      "replace   text[194:201] --> decoded_text[192:198] 'ألماً أ' --> 'الما ا'",
-      "replace   text[218:226] --> decoded_text[215:223] 'أعدائه..' --> 'اعدايه..'"
-    ],
-    "n_oov_chars": 21,
-    "oov_ratio": 0.09292035398230089,
-    "oov_charset": "[\"أ\", \"ً\", \"ّ\", \"َ\", \"إ\", \"ؤ\", \"ئ\"]"
-  },
-  {
-    "text": "اليمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان, لم يسلموا ولن يسلموا.. والأعباء والمتاعب طالت الجميع, وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جيل, وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة, أو أبوظبي..؟!",
-    "decoded_text": "اليمن انهك من العدوان ومن الحصار حتى اوليك الذين يظنون انهم بعيدون عن التاثيرات المباشرة للعدوان, لم يسلموا ولن يسلموا.. والاعباء والمتاعب طالت الجميع, وان ظل الصمت والانجرار خلف مواقف تخدم اعداء هذا الشعب فان المستقبل سيكون قاتما واضراره ستظل تلاحق الاجيال اليمنية جيلا بعد جيل, وسيكون اعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون ادوات بايدي الرياض او الدوحة, او ابوظبي.. ؟!",
-    "diff": [
-      "replace   text[6:7] --> decoded_text[6:7]      'أ' --> 'ا'",
-      "replace   text[37:41] --> decoded_text[37:41]   'أولئ' --> 'اولي'",
-      "replace   text[55:74] --> decoded_text[55:74] 'أنهم بعيدون عن التأ' --> 'انهم بعيدون عن التا'",
-      "replace   text[124:125] --> decoded_text[124:125]      'أ' --> 'ا'",
-      "replace   text[153:154] --> decoded_text[153:154]      'إ' --> 'ا'",
-      "replace   text[190:191] --> decoded_text[190:191]      'أ' --> 'ا'",
-      "replace   text[207:208] --> decoded_text[207:208]      'إ' --> 'ا'",
-      "replace   text[230:234] --> decoded_text[230:233]   'ً وأ' --> ' وا'",
-      "replace   text[253:254] --> decoded_text[252:253]      'أ' --> 'ا'",
-      "delete    text[271:272] --> decoded_text[270:270]      'ً' --> ''",
-      "replace   text[289:290] --> decoded_text[287:288]      'أ' --> 'ا'",
-      "replace   text[364:372] --> decoded_text[362:370] 'أدوات بأ' --> 'ادوات با'",
-      "replace   text[383:384] --> decoded_text[381:382]      'أ' --> 'ا'",
-      "replace   text[394:398] --> decoded_text[392:396]   'أو أ' --> 'او ا'",
-      "insert    text[405:405] --> decoded_text[403:404]       '' --> ' '"
-    ],
-    "n_oov_chars": 19,
-    "oov_ratio": 0.04668304668304668,
-    "oov_charset": "[\"أ\", \"ئ\", \"إ\", \"ً\"]"
-  },
-  {
-    "text": "وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية.. أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب!!",
-    "decoded_text": "وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت ان تكون خادمة لاجندة غير عربية وغير اسلامية.. اجندة تباع فيها الضماير وتباع فيها المواقف من اجل عين اصحاب البقرة الصفراء ومن اجل رضا اجهزة المخابرات في واشنطن وفي تل ابيب!!",
-    "diff": [
-      "replace   text[75:76] --> decoded_text[75:76]      'أ' --> 'ا'",
-      "replace   text[90:91] --> decoded_text[90:91]      'أ' --> 'ا'",
-      "replace   text[111:112] --> decoded_text[111:112]      'إ' --> 'ا'",
-      "replace   text[121:122] --> decoded_text[121:122]      'أ' --> 'ا'",
-      "replace   text[142:176] --> decoded_text[142:176] 'ئر وتباع فيها المواقف من أجل عين أ' --> 'ير وتباع فيها المواقف من اجل عين ا'",
-      "replace   text[200:201] --> decoded_text[200:201]      'أ' --> 'ا'",
-      "replace   text[208:209] --> decoded_text[208:209]      'أ' --> 'ا'",
-      "replace   text[241:242] --> decoded_text[241:242]      'أ' --> 'ا'"
-    ],
-    "n_oov_chars": 10,
-    "oov_ratio": 0.04048582995951417,
-    "oov_charset": "[\"أ\", \"إ\", \"ئ\"]"
-  },
-  {
-    "text": "اليمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة, ومحاصرة, ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي, وصوب الرياض, وصوب واشنطن..",
-    "decoded_text": "اليمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة, ومحاصرة, ويباد اهلها وساكنوها.. اليمن اصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب ابو ظبي, وصوب الرياض, وصوب واشنطن..",
-    "diff": [
-      "replace   text[77:78] --> decoded_text[77:78]      'أ' --> 'ا'",
-      "replace   text[100:101] --> decoded_text[100:101]      'أ' --> 'ا'",
-      "replace   text[159:160] --> decoded_text[159:160]      'أ' --> 'ا'"
-    ],
-    "n_oov_chars": 3,
-    "oov_ratio": 0.015463917525773196,
-    "oov_charset": "[\"أ\"]"
-  }
+[
+  {
+    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
+    "decoded_text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة.. ( 1 )",
+    "diff": [
+      "delete    text[42:43] --> decoded_text[42:42]      ' ' --> ''",
+      "insert    text[49:49] --> decoded_text[48:49]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "اليمن جنوبها وشمالها.. شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي, ومن حياتها الاعتيادية الطبيعية في 22مايو العام 1990م.. بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب, ومن اضطراب في نسيجها الاجتماعي, ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم.. ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أمل, ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام 1990م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام, وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية.. وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى, عدا مصلحة اليمن الواحد الموحد.. مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي (تردف) كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن..",
+    "decoded_text": "اليمن جنوبها وشمالها.. شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي, ومن حياتها الاعتيادية الطبيعية في 22مايو العام 1990م.. بكل تاكيد قد تنهدت من اعماق اعماقها الما واسى لما وصل اليه حال ابنايها من اقتتال ومن احتراب, ومن اضطراب في نسيجها الاجتماعي, ومن انصياع من بعض ابنايها لاملاءات الغير ولحساباتهم.. ووسط هذه الماساة لم تعدم هذه الارض الطيبة من بقايا امل, ومن بقايا حكمة مازالت تميز ابناء هذا الشعب الطيب لان اليمانيين في العام 1990م فاجاوا العالم بوحدتهم حين كان العالم منغمسا في الانقسام, وحينما كانت الانظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنايية.. وكان اندفاع اليمنيين شمالا وجنوبا نحو الوحدة طوعيا وبمستوى عال من الحكمة ونكران الذات وتغليب المصلحة العليا عن اية مصالح اخرى سواء كانت ذاتية او حسابات جهوية او اية مصالح اخرى, عدا مصلحة اليمن الواحد الموحد.. مصلحة الايثار ونحن نعتقد ان مرحلة التسعينات من القرن العشرين التي ( تردف ) كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن..",
+    "diff": [
+      "replace   text[159:198] --> decoded_text[159:197] 'أكيد قد تنهدت من أعماق أعماقها ألماً وأ' --> 'اكيد قد تنهدت من اعماق اعماقها الما وا'",
+      "delete    text[200:201] --> decoded_text[199:199]      'ً' --> ''",
+      "replace   text[210:224] --> decoded_text[208:222] 'إليه حال أبنائ' --> 'اليه حال ابناي'",
+      "replace   text[299:309] --> decoded_text[297:307] 'أبنائها لإ' --> 'ابنايها لا'",
+      "replace   text[347:348] --> decoded_text[345:346]      'أ' --> 'ا'",
+      "replace   text[366:367] --> decoded_text[364:365]      'أ' --> 'ا'",
+      "replace   text[386:387] --> decoded_text[384:385]      'أ' --> 'ا'",
+      "replace   text[418:419] --> decoded_text[416:417]      'أ' --> 'ا'",
+      "replace   text[441:442] --> decoded_text[439:440]      'أ' --> 'ا'",
+      "replace   text[472:473] --> decoded_text[470:471]      'أ' --> 'ا'",
+      "delete    text[512:513] --> decoded_text[510:510]      'ً' --> ''",
+      "replace   text[541:542] --> decoded_text[538:539]      'أ' --> 'ا'",
+      "replace   text[599:600] --> decoded_text[596:597]      'ئ' --> 'ي'",
+      "delete    text[631:632] --> decoded_text[628:628]      'ً' --> ''",
+      "delete    text[639:640] --> decoded_text[635:635]      'ً' --> ''",
+      "delete    text[657:658] --> decoded_text[652:652]      'ً' --> ''",
+      "delete    text[670:671] --> decoded_text[664:664]      'ٍ' --> ''",
+      "replace   text[720:721] --> decoded_text[713:714]      'أ' --> 'ا'",
+      "replace   text[730:731] --> decoded_text[723:724]      'أ' --> 'ا'",
+      "delete    text[739:740] --> decoded_text[732:732]      'ً' --> ''",
+      "replace   text[752:753] --> decoded_text[744:745]      'أ' --> 'ا'",
+      "replace   text[768:772] --> decoded_text[760:764]   'أو أ' --> 'او ا'",
+      "replace   text[781:782] --> decoded_text[773:774]      'أ' --> 'ا'",
+      "replace   text[827:828] --> decoded_text[819:820]      'إ' --> 'ا'",
+      "replace   text[844:845] --> decoded_text[836:837]      'أ' --> 'ا'",
+      "replace   text[886:890] --> decoded_text[878:884]   'تردف' --> ' تردف '"
+    ],
+    "n_oov_chars": 35,
+    "oov_ratio": 0.036231884057971016,
+    "oov_charset": "[\"أ\", \"ً\", \"إ\", \"ئ\", \"ٍ\"]"
+  },
+  {
+    "text": "واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر, وما شهدته البلد من مواقف عديدة, فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية, أو انتماءاتهم المناطقية أو القبلية أو الجهوية, أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان..",
+    "decoded_text": "واليوم وبعد ان جرت مياه كثيرة وتدفقت من تحت الجسر, وما شهدته البلد من مواقف عديدة, فان الحكمة اليمانية توجب على ابناء اليمن ايا كانت تياراتهم السياسية, او انتماءاتهم المناطقية او القبلية او الجهوية, ان يستذكروا جيدا ما وصفهم به رسول العالمين محمد بن عبدالله عليه افضل الصلوات والتسليم وعلى اله الاخيار الاطهار بانهم اهل حكمة واهل ايمان..",
+    "diff": [
+      "replace   text[12:13] --> decoded_text[12:13]      'أ' --> 'ا'",
+      "replace   text[84:85] --> decoded_text[84:85]      'إ' --> 'ا'",
+      "replace   text[112:113] --> decoded_text[112:113]      'أ' --> 'ا'",
+      "replace   text[124:128] --> decoded_text[124:127]   'أياً' --> 'ايا'",
+      "replace   text[153:154] --> decoded_text[152:153]      'أ' --> 'ا'",
+      "replace   text[177:178] --> decoded_text[176:177]      'أ' --> 'ا'",
+      "replace   text[188:189] --> decoded_text[187:188]      'أ' --> 'ا'",
+      "replace   text[200:201] --> decoded_text[199:200]      'أ' --> 'ا'",
+      "delete    text[216:217] --> decoded_text[215:215]      'ً' --> ''",
+      "replace   text[265:266] --> decoded_text[263:264]      'أ' --> 'ا'",
+      "replace   text[292:299] --> decoded_text[290:297] 'آله الأ' --> 'اله الا'",
+      "replace   text[306:307] --> decoded_text[304:305]      'أ' --> 'ا'",
+      "replace   text[313:319] --> decoded_text[311:317] 'أنهم أ' --> 'انهم ا'",
+      "replace   text[328:333] --> decoded_text[326:331]  'أهل إ' --> 'اهل ا'"
+    ],
+    "n_oov_chars": 18,
+    "oov_ratio": 0.05309734513274336,
+    "oov_charset": "[\"أ\", \"إ\", \"ً\", \"آ\"]"
+  },
+  {
+    "text": "وكلام الرسول وأحاديثه ما هي إلا وحي من الله.. بمعنى أن العمل بما قاله الرسول الأعظم هو مسؤولية أخلاقية ودينية ومسؤولية سياسية..",
+    "decoded_text": "وكلام الرسول واحاديثه ما هي الا وحي من الله.. بمعنى ان العمل بما قاله الرسول الاعظم هو مسوولية اخلاقية ودينية ومسوولية سياسية..",
+    "diff": [
+      "replace   text[14:15] --> decoded_text[14:15]      'أ' --> 'ا'",
+      "replace   text[28:29] --> decoded_text[28:29]      'إ' --> 'ا'",
+      "replace   text[52:53] --> decoded_text[52:53]      'أ' --> 'ا'",
+      "replace   text[79:80] --> decoded_text[79:80]      'أ' --> 'ا'",
+      "replace   text[89:90] --> decoded_text[89:90]      'ؤ' --> 'و'",
+      "replace   text[95:96] --> decoded_text[95:96]      'أ' --> 'ا'",
+      "replace   text[113:114] --> decoded_text[113:114]      'ؤ' --> 'و'"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.05511811023622047,
+    "oov_charset": "[\"أ\", \"إ\", \"ؤ\"]"
+  },
+  {
+    "text": "فهل أوضاع اليمنيين القائمة هي نتا�� حكمة, وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم..",
+    "decoded_text": "فهل اوضاع اليمنيين القايمة هي نتاج حكمة, وهل من الحكمة ان تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن ابناء هذا البلد العظيم..",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:5]      'أ' --> 'ا'",
+      "replace   text[23:24] --> decoded_text[23:24]      'ئ' --> 'ي'",
+      "replace   text[55:56] --> decoded_text[55:56]      'أ' --> 'ا'",
+      "replace   text[119:120] --> decoded_text[119:120]      'أ' --> 'ا'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.027972027972027972,
+    "oov_charset": "[\"أ\", \"ئ\"]"
+  },
+  {
+    "text": "وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان, ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله..",
+    "decoded_text": "وهل الانسياق نحو مزيد من العناد ومزيد من الاحتقان, ومزيد من الاحتراب بين ابناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى اله..",
+    "diff": [
+      "delete    text[21:22] --> decoded_text[21:21]      'ٍ' --> ''",
+      "delete    text[38:39] --> decoded_text[37:37]      'ٍ' --> ''",
+      "delete    text[58:59] --> decoded_text[56:56]      'ٍ' --> ''",
+      "replace   text[76:77] --> decoded_text[73:74]      'أ' --> 'ا'",
+      "replace   text[152:153] --> decoded_text[149:150]      'آ' --> 'ا'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.03184713375796178,
+    "oov_charset": "[\"ٍ\", \"أ\", \"آ\"]"
+  },
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "انا لا اعتقد ان عاقلا من بناء هذا البلد يقبل او يستسيغ ما يجري فيه.. ان يتحول اليمن - وهو بلد ولاد بالخير, الى اطلال, وان يتعرض ابناوه الاحرار الى قطيع من الذياب تنهش ببعضها, بل والاشد نكاية والما ان يكون ذلك خدمة لاعدايه..",
+    "diff": [
+      "replace   text[0:22] --> decoded_text[0:21] 'أنا لا اعتقد أن عاقلاً' --> 'انا لا اعتقد ان عاقلا'",
+      "replace   text[46:47] --> decoded_text[45:46]      'أ' --> 'ا'",
+      "replace   text[70:71] --> decoded_text[69:70]      'أ' --> 'ا'",
+      "insert    text[84:84] --> decoded_text[83:84]       '' --> ' '",
+      "delete    text[97:99] --> decoded_text[97:97]     'َّ' --> ''",
+      "replace   text[109:110] --> decoded_text[107:108]      'إ' --> 'ا'",
+      "replace   text[113:114] --> decoded_text[111:112]      'أ' --> 'ا'",
+      "replace   text[121:122] --> decoded_text[119:120]      'أ' --> 'ا'",
+      "replace   text[130:140] --> decoded_text[128:138] 'أبناؤه الأ' --> 'ابناوه الا'",
+      "replace   text[145:146] --> decoded_text[143:144]      'إ' --> 'ا'",
+      "replace   text[160:161] --> decoded_text[158:159]      'ئ' --> 'ي'",
+      "replace   text[183:184] --> decoded_text[181:182]      'أ' --> 'ا'",
+      "replace   text[194:201] --> decoded_text[192:198] 'ألماً أ' --> 'الما ا'",
+      "replace   text[218:226] --> decoded_text[215:223] 'أعدائه..' --> 'اعدايه..'"
+    ],
+    "n_oov_chars": 21,
+    "oov_ratio": 0.09292035398230089,
+    "oov_charset": "[\"أ\", \"ً\", \"ّ\", \"َ\", \"إ\", \"ؤ\", \"ئ\"]"
+  },
+  {
+    "text": "اليمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان, لم يسلموا ولن يسلموا.. والأعباء والمتاعب طالت الجميع, وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جيل, وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة, أو أبوظبي..؟!",
+    "decoded_text": "اليمن انهك من العدوان ومن الحصار حتى اوليك الذين يظنون انهم بعيدون عن التاثيرات المباشرة للعدوان, لم يسلموا ولن يسلموا.. والاعباء والمتاعب طالت الجميع, وان ظل الصمت والانجرار خلف مواقف تخدم اعداء هذا الشعب فان المستقبل سيكون قاتما واضراره ستظل تلاحق الاجيال اليمنية جيلا بعد جيل, وسيكون اعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون ادوات بايدي الرياض او الدوحة, او ابوظبي.. ؟!",
+    "diff": [
+      "replace   text[6:7] --> decoded_text[6:7]      'أ' --> 'ا'",
+      "replace   text[37:41] --> decoded_text[37:41]   'أولئ' --> 'اولي'",
+      "replace   text[55:74] --> decoded_text[55:74] 'أنهم بعيدون عن التأ' --> 'انهم بعيدون عن التا'",
+      "replace   text[124:125] --> decoded_text[124:125]      'أ' --> 'ا'",
+      "replace   text[153:154] --> decoded_text[153:154]      'إ' --> 'ا'",
+      "replace   text[190:191] --> decoded_text[190:191]      'أ' --> 'ا'",
+      "replace   text[207:208] --> decoded_text[207:208]      'إ' --> 'ا'",
+      "replace   text[230:234] --> decoded_text[230:233]   'ً وأ' --> ' وا'",
+      "replace   text[253:254] --> decoded_text[252:253]      'أ' --> 'ا'",
+      "delete    text[271:272] --> decoded_text[270:270]      'ً' --> ''",
+      "replace   text[289:290] --> decoded_text[287:288]      'أ' --> 'ا'",
+      "replace   text[364:372] --> decoded_text[362:370] 'أدوات بأ' --> 'ادوات با'",
+      "replace   text[383:384] --> decoded_text[381:382]      'أ' --> 'ا'",
+      "replace   text[394:398] --> decoded_text[392:396]   'أو أ' --> 'او ا'",
+      "insert    text[405:405] --> decoded_text[403:404]       '' --> ' '"
+    ],
+    "n_oov_chars": 19,
+    "oov_ratio": 0.04668304668304668,
+    "oov_charset": "[\"أ\", \"ئ\", \"إ\", \"ً\"]"
+  },
+  {
+    "text": "وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية.. أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب!!",
+    "decoded_text": "وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت ان تكون خادمة لاجندة غير عربية وغير اسلامية.. اجندة تباع فيها الضماير وتباع فيها المواقف من اجل عين اصحاب البقرة الصفراء ومن اجل رضا اجهزة المخابرات في واشنطن وفي تل ابيب!!",
+    "diff": [
+      "replace   text[75:76] --> decoded_text[75:76]      'أ' --> 'ا'",
+      "replace   text[90:91] --> decoded_text[90:91]      'أ' --> 'ا'",
+      "replace   text[111:112] --> decoded_text[111:112]      'إ' --> 'ا'",
+      "replace   text[121:122] --> decoded_text[121:122]      'أ' --> 'ا'",
+      "replace   text[142:176] --> decoded_text[142:176] 'ئر وتباع فيها المواقف من أجل عين أ' --> 'ير وتباع فيها المواقف من اجل عين ا'",
+      "replace   text[200:201] --> decoded_text[200:201]      'أ' --> 'ا'",
+      "replace   text[208:209] --> decoded_text[208:209]      'أ' --> 'ا'",
+      "replace   text[241:242] --> decoded_text[241:242]      'أ' --> 'ا'"
+    ],
+    "n_oov_chars": 10,
+    "oov_ratio": 0.04048582995951417,
+    "oov_charset": "[\"أ\", \"إ\", \"ئ\"]"
+  },
+  {
+    "text": "اليمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة, ومحاصرة, ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي, وصوب الرياض, وصوب واشنطن..",
+    "decoded_text": "اليمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة, ومحاصرة, ويباد اهلها وساكنوها.. اليمن اصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب ابو ظبي, وصوب الرياض, وصوب واشنطن..",
+    "diff": [
+      "replace   text[77:78] --> decoded_text[77:78]      'أ' --> 'ا'",
+      "replace   text[100:101] --> decoded_text[100:101]      'أ' --> 'ا'",
+      "replace   text[159:160] --> decoded_text[159:160]      'أ' --> 'ا'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.015463917525773196,
+    "oov_charset": "[\"أ\"]"
+  }
 ]

stats/compression_rate/baichuan-inc.Baichuan-7B @ cc100.fa.diff.json

@@ -1,105 +1,105 @@
-[
-  {
-    "text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید!‏در Twitter به اشتراک بگذارید‏در Facebook به اشتراک بگذارید‏اشتراک‌گذاری در Pinterest",
-    "decoded_text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید! در Twitter به اشتراک بگذارید در Facebook به اشتراک بگذارید اشتراک گذاری در Pinterest",
-    "diff": [
-      "replace   text[46:47] --> decoded_text[46:47] '\\u200f' --> ' '",
-      "replace   text[75:76] --> decoded_text[75:76] '\\u200f' --> ' '",
-      "replace   text[105:106] --> decoded_text[105:106] '\\u200f' --> ' '",
-      "replace   text[112:113] --> decoded_text[112:113] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 4,
-    "oov_ratio": 0.030534351145038167,
-    "oov_charset": "[\"‏\", \"‌\"]"
-  },
-  {
-    "text": "برچسب‌ها: شیرینی ها",
-    "decoded_text": "برچسب ها: شیرینی ها",
-    "diff": [
-      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.05263157894736842,
-    "oov_charset": "[\"‌\"]"
-  },
-  {
-    "text": "برچسب‌ها: امریکایی, انجیر, شیرینی ها, کوکی ها",
-    "decoded_text": "برچسب ها: امریکایی, انجیر, شیرینی ها, کوکی ها",
-    "diff": [
-      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.022222222222222223,
-    "oov_charset": "[\"‌\"]"
-  },
-  {
-    "text": "برچسب‌ها: توت فرنگی, کیک ها",
-    "decoded_text": "برچسب ها: توت فرنگی, کیک ها",
-    "diff": [
-      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.037037037037037035,
-    "oov_charset": "[\"‌\"]"
-  },
-  {
-    "text": "برچسب‌ها: انواع سوپ و اش, جو",
-    "decoded_text": "برچسب ها: انواع سوپ و اش, جو",
-    "diff": [
-      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.03571428571428571,
-    "oov_charset": "[\"‌\"]"
-  },
-  {
-    "text": "برچسب‌ها: بادمجان, پیش غذا, دلمه ها, غذاهای ترکی",
-    "decoded_text": "برچسب ها: بادمجان, پیش غذا, دلمه ها, غذاهای ترکی",
-    "diff": [
-      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.020833333333333332,
-    "oov_charset": "[\"‌\"]"
-  },
-  {
-    "text": "برچسب‌ها: شکلات, کیک ها",
-    "decoded_text": "برچسب ها: شکلات, کیک ها",
-    "diff": [
-      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.043478260869565216,
-    "oov_charset": "[\"‌\"]"
-  },
-  {
-    "text": "برچسب‌ها: انواع سوپ و اش, تره فرنگی",
-    "decoded_text": "برچسب ها: انواع سوپ و اش, تره فرنگی",
-    "diff": [
-      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.02857142857142857,
-    "oov_charset": "[\"‌\"]"
-  },
-  {
-    "text": "برچسب‌ها: کوکی ها",
-    "decoded_text": "برچسب ها: کوکی ها",
-    "diff": [
-      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.058823529411764705,
-    "oov_charset": "[\"‌\"]"
-  },
-  {
-    "text": "برچسب‌ها: دسرها, موز",
-    "decoded_text": "برچسب ها: دسرها, موز",
-    "diff": [
-      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.05,
-    "oov_charset": "[\"‌\"]"
-  }
+[
+  {
+    "text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید!‏در Twitter به اشتراک بگذارید‏در Facebook به اشتراک بگذارید‏اشتراک‌گذاری در Pinterest",
+    "decoded_text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید! در Twitter به اشتراک بگذارید در Facebook به اشتراک بگذارید اشتراک گذاری در Pinterest",
+    "diff": [
+      "replace   text[46:47] --> decoded_text[46:47] '\\u200f' --> ' '",
+      "replace   text[75:76] --> decoded_text[75:76] '\\u200f' --> ' '",
+      "replace   text[105:106] --> decoded_text[105:106] '\\u200f' --> ' '",
+      "replace   text[112:113] --> decoded_text[112:113] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.030534351145038167,
+    "oov_charset": "[\"‏\", \"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: شیرینی ها",
+    "decoded_text": "برچسب ها: شیرینی ها",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.05263157894736842,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: امریکایی, انجیر, شیرینی ها, کوکی ها",
+    "decoded_text": "برچسب ها: امریکایی, انجیر, شیرینی ها, کوکی ها",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.022222222222222223,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: توت فرنگی, کیک ها",
+    "decoded_text": "برچسب ها: توت فرنگی, کیک ها",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.037037037037037035,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: انواع سوپ و اش, جو",
+    "decoded_text": "برچسب ها: انواع سوپ و اش, جو",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.03571428571428571,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: بادمجان, پیش غذا, دلمه ها, غذاهای ترکی",
+    "decoded_text": "برچسب ها: بادمجان, پیش غذا, دلمه ها, غذاهای ترکی",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.020833333333333332,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: شکلات, کیک ها",
+    "decoded_text": "برچسب ها: شکلات, کیک ها",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.043478260869565216,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: انواع سوپ و اش, تره فرنگی",
+    "decoded_text": "برچسب ها: انواع سوپ و اش, تره فرنگی",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02857142857142857,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: کوکی ها",
+    "decoded_text": "برچسب ها: کوکی ها",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.058823529411764705,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: دسرها, موز",
+    "decoded_text": "برچسب ها: دسرها, موز",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.05,
+    "oov_charset": "[\"‌\"]"
+  }
 ]

stats/compression_rate/clue.roberta_chinese_clue_tiny @ cc100.es.diff.json

@@ -1,132 +1,132 @@
-[
-  {
-    "text": "\"Se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"Los Sanguinarios del Norte Chico\" dedicados a la extorsión, robo, sicariato, tráfico ilícito de drogas.\", explicó Medina.",
-    "decoded_text": "\" se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organizacion criminal \" los sanguinarios del norte chico \" dedicados a la extorsion, robo, sicariato, trafico ilicito de drogas. \", explico medina.",
-    "diff": [
-      "replace   text[1:2] --> decoded_text[1:3]      'S' --> ' s'",
-      "replace   text[90:91] --> decoded_text[91:92]      'ó' --> 'o'",
-      "replace   text[103:108] --> decoded_text[104:110]  'Los S' --> ' los s'",
-      "replace   text[124:131] --> decoded_text[126:133] 'Norte C' --> 'norte c'",
-      "insert    text[135:135] --> decoded_text[137:138]       '' --> ' '",
-      "replace   text[159:160] --> decoded_text[162:163]      'ó' --> 'o'",
-      "replace   text[182:183] --> decoded_text[185:186]      'á' --> 'a'",
-      "replace   text[190:191] --> decoded_text[193:194]      'í' --> 'i'",
-      "insert    text[206:206] --> decoded_text[209:210]       '' --> ' '",
-      "replace   text[215:218] --> decoded_text[219:222]    'ó M' --> 'o m'"
-    ],
-    "n_oov_chars": 11,
-    "oov_ratio": 0.049107142857142856,
-    "oov_charset": "[\"S\", \"ó\", \"L\", \"N\", \"C\", \"á\", \"í\", \"M\"]"
-  },
-  {
-    "text": "Hasta el momento se han detenido a 48 integrantes de la organización criminal.",
-    "decoded_text": "hasta el momento se han detenido a 48 integrantes de la organizacion criminal.",
-    "diff": [
-      "replace   text[0:1] --> decoded_text[0:1]      'H' --> 'h'",
-      "replace   text[66:67] --> decoded_text[66:67]      'ó' --> 'o'"
-    ],
-    "n_oov_chars": 2,
-    "oov_ratio": 0.02564102564102564,
-    "oov_charset": "[\"H\", \"ó\"]"
-  },
-  {
-    "text": "A \"Los Sanguinarios del Norte Chico\" se les ha atribuido al menos 17 homicidios cometidos por sicarios debido a ajustes de cuentas para el control del cobro de cupos o contra objetivos que se negaban a acatar sus condiciones.",
-    "decoded_text": "a \" los sanguinarios del norte chico \" se les ha atribuido al menos 17 homicidios cometidos por sicarios debido a ajustes de cuentas para el control del cobro de cupos o contra objetivos que se negaban a acatar sus condiciones.",
-    "diff": [
-      "replace   text[0:1] --> decoded_text[0:1]      'A' --> 'a'",
-      "replace   text[3:8] --> decoded_text[3:9]  'Los S' --> ' los s'",
-      "replace   text[24:31] --> decoded_text[25:32] 'Norte C' --> 'norte c'",
-      "insert    text[35:35] --> decoded_text[36:37]       '' --> ' '"
-    ],
-    "n_oov_chars": 5,
-    "oov_ratio": 0.022222222222222223,
-    "oov_charset": "[\"A\", \"L\", \"S\", \"N\", \"C\"]"
-  },
-  {
-    "text": "En este megaoperativo han participado 800 agentes de la Policia Nacional del Peru y 85 fiscales, quienes se han desplazado en 130 vehículos. Asimismo, e los 47 detenidos, 10 son mujeres.",
-    "decoded_text": "en este megaoperativo han participado 800 agentes de la policia nacional del peru y 85 fiscales, quienes se han desplazado en 130 vehiculos. asimismo, e los 47 detenidos, 10 son mujeres.",
-    "diff": [
-      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'",
-      "replace   text[56:57] --> decoded_text[56:57]      'P' --> 'p'",
-      "replace   text[64:65] --> decoded_text[64:65]      'N' --> 'n'",
-      "replace   text[77:78] --> decoded_text[77:78]      'P' --> 'p'",
-      "replace   text[133:134] --> decoded_text[133:134]      'í' --> 'i'",
-      "replace   text[141:142] --> decoded_text[141:142]      'A' --> 'a'"
-    ],
-    "n_oov_chars": 6,
-    "oov_ratio": 0.03225806451612903,
-    "oov_charset": "[\"E\", \"P\", \"N\", \"í\", \"A\"]"
-  },
-  {
-    "text": "1. El período de vacaciones anuales retribuidas, no sustituible",
-    "decoded_text": "1. el periodo de vacaciones anuales retribuidas, no sustituible",
-    "diff": [
-      "replace   text[3:4] --> decoded_text[3:4]      'E' --> 'e'",
-      "replace   text[9:10] --> decoded_text[9:10]      'í' --> 'i'"
-    ],
-    "n_oov_chars": 2,
-    "oov_ratio": 0.031746031746031744,
-    "oov_charset": "[\"E\", \"í\"]"
-  },
-  {
-    "text": "– Art. 2, Ley 4/1983, de 29 de junio, de fijación de la jornada",
-    "decoded_text": "[UNK] art. 2, ley 4 / 1983, de 29 de junio, de fijacion de la jornada",
-    "diff": [
-      "replace   text[0:1] --> decoded_text[0:5]      '–' --> '[UNK]'",
-      "replace   text[2:3] --> decoded_text[6:7]      'A' --> 'a'",
-      "replace   text[10:11] --> decoded_text[14:15]      'L' --> 'l'",
-      "insert    text[15:15] --> decoded_text[19:20]       '' --> ' '",
-      "insert    text[16:16] --> decoded_text[21:22]       '' --> ' '",
-      "replace   text[47:48] --> decoded_text[53:54]      'ó' --> 'o'"
-    ],
-    "n_oov_chars": 4,
-    "oov_ratio": 0.06349206349206349,
-    "oov_charset": "[\"–\", \"A\", \"L\", \"ó\"]"
-  },
-  {
-    "text": "2. El período o períodos de su disfrute se fijará de común",
-    "decoded_text": "2. el periodo o periodos de su disfrute se fijara de comun",
-    "diff": [
-      "replace   text[3:4] --> decoded_text[3:4]      'E' --> 'e'",
-      "replace   text[9:10] --> decoded_text[9:10]      'í' --> 'i'",
-      "replace   text[19:20] --> decoded_text[19:20]      'í' --> 'i'",
-      "replace   text[48:49] --> decoded_text[48:49]      'á' --> 'a'",
-      "replace   text[56:57] --> decoded_text[56:57]      'ú' --> 'u'"
-    ],
-    "n_oov_chars": 5,
-    "oov_ratio": 0.08620689655172414,
-    "oov_charset": "[\"E\", \"í\", \"á\", \"ú\"]"
-  },
-  {
-    "text": "con lo establecido en su caso en los Convenios Colectivos",
-    "decoded_text": "con lo establecido en su caso en los convenios colectivos",
-    "diff": [
-      "replace   text[37:38] --> decoded_text[37:38]      'C' --> 'c'",
-      "replace   text[47:48] --> decoded_text[47:48]      'C' --> 'c'"
-    ],
-    "n_oov_chars": 2,
-    "oov_ratio": 0.03508771929824561,
-    "oov_charset": "[\"C\"]"
-  },
-  {
-    "text": "sobre planificación anual de las vacaciones.",
-    "decoded_text": "sobre planificacion anual de las vacaciones.",
-    "diff": [
-      "replace   text[17:18] --> decoded_text[17:18]      'ó' --> 'o'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.022727272727272728,
-    "oov_charset": "[\"ó\"]"
-  },
-  {
-    "text": "En caso de desacuerdo entre las partes, la jurisdicción competente",
-    "decoded_text": "en caso de desacuerdo entre las partes, la jurisdiccion competente",
-    "diff": [
-      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'",
-      "replace   text[53:54] --> decoded_text[53:54]      'ó' --> 'o'"
-    ],
-    "n_oov_chars": 2,
-    "oov_ratio": 0.030303030303030304,
-    "oov_charset": "[\"E\", \"ó\"]"
-  }
+[
+  {
+    "text": "\"Se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"Los Sanguinarios del Norte Chico\" dedicados a la extorsión, robo, sicariato, tráfico ilícito de drogas.\", explicó Medina.",
+    "decoded_text": "\" se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organizacion criminal \" los sanguinarios del norte chico \" dedicados a la extorsion, robo, sicariato, trafico ilicito de drogas. \", explico medina.",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:3]      'S' --> ' s'",
+      "replace   text[90:91] --> decoded_text[91:92]      'ó' --> 'o'",
+      "replace   text[103:108] --> decoded_text[104:110]  'Los S' --> ' los s'",
+      "replace   text[124:131] --> decoded_text[126:133] 'Norte C' --> 'norte c'",
+      "insert    text[135:135] --> decoded_text[137:138]       '' --> ' '",
+      "replace   text[159:160] --> decoded_text[162:163]      'ó' --> 'o'",
+      "replace   text[182:183] --> decoded_text[185:186]      'á' --> 'a'",
+      "replace   text[190:191] --> decoded_text[193:194]      'í' --> 'i'",
+      "insert    text[206:206] --> decoded_text[209:210]       '' --> ' '",
+      "replace   text[215:218] --> decoded_text[219:222]    'ó M' --> 'o m'"
+    ],
+    "n_oov_chars": 11,
+    "oov_ratio": 0.049107142857142856,
+    "oov_charset": "[\"S\", \"ó\", \"L\", \"N\", \"C\", \"á\", \"í\", \"M\"]"
+  },
+  {
+    "text": "Hasta el momento se han detenido a 48 integrantes de la organización criminal.",
+    "decoded_text": "hasta el momento se han detenido a 48 integrantes de la organizacion criminal.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'H' --> 'h'",
+      "replace   text[66:67] --> decoded_text[66:67]      'ó' --> 'o'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.02564102564102564,
+    "oov_charset": "[\"H\", \"ó\"]"
+  },
+  {
+    "text": "A \"Los Sanguinarios del Norte Chico\" se les ha atribuido al menos 17 homicidios cometidos por sicarios debido a ajustes de cuentas para el control del cobro de cupos o contra objetivos que se negaban a acatar sus condiciones.",
+    "decoded_text": "a \" los sanguinarios del norte chico \" se les ha atribuido al menos 17 homicidios cometidos por sicarios debido a ajustes de cuentas para el control del cobro de cupos o contra objetivos que se negaban a acatar sus condiciones.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'A' --> 'a'",
+      "replace   text[3:8] --> decoded_text[3:9]  'Los S' --> ' los s'",
+      "replace   text[24:31] --> decoded_text[25:32] 'Norte C' --> 'norte c'",
+      "insert    text[35:35] --> decoded_text[36:37]       '' --> ' '"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.022222222222222223,
+    "oov_charset": "[\"A\", \"L\", \"S\", \"N\", \"C\"]"
+  },
+  {
+    "text": "En este megaoperativo han participado 800 agentes de la Policia Nacional del Peru y 85 fiscales, quienes se han desplazado en 130 vehículos. Asimismo, e los 47 detenidos, 10 son mujeres.",
+    "decoded_text": "en este megaoperativo han participado 800 agentes de la policia nacional del peru y 85 fiscales, quienes se han desplazado en 130 vehiculos. asimismo, e los 47 detenidos, 10 son mujeres.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'",
+      "replace   text[56:57] --> decoded_text[56:57]      'P' --> 'p'",
+      "replace   text[64:65] --> decoded_text[64:65]      'N' --> 'n'",
+      "replace   text[77:78] --> decoded_text[77:78]      'P' --> 'p'",
+      "replace   text[133:134] --> decoded_text[133:134]      'í' --> 'i'",
+      "replace   text[141:142] --> decoded_text[141:142]      'A' --> 'a'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.03225806451612903,
+    "oov_charset": "[\"E\", \"P\", \"N\", \"í\", \"A\"]"
+  },
+  {
+    "text": "1. El período de vacaciones anuales retribuidas, no sustituible",
+    "decoded_text": "1. el periodo de vacaciones anuales retribuidas, no sustituible",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      'E' --> 'e'",
+      "replace   text[9:10] --> decoded_text[9:10]      'í' --> 'i'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.031746031746031744,
+    "oov_charset": "[\"E\", \"í\"]"
+  },
+  {
+    "text": "– Art. 2, Ley 4/1983, de 29 de junio, de fijación de la jornada",
+    "decoded_text": "[UNK] art. 2, ley 4 / 1983, de 29 de junio, de fijacion de la jornada",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:5]      '–' --> '[UNK]'",
+      "replace   text[2:3] --> decoded_text[6:7]      'A' --> 'a'",
+      "replace   text[10:11] --> decoded_text[14:15]      'L' --> 'l'",
+      "insert    text[15:15] --> decoded_text[19:20]       '' --> ' '",
+      "insert    text[16:16] --> decoded_text[21:22]       '' --> ' '",
+      "replace   text[47:48] --> decoded_text[53:54]      'ó' --> 'o'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.06349206349206349,
+    "oov_charset": "[\"–\", \"A\", \"L\", \"ó\"]"
+  },
+  {
+    "text": "2. El período o períodos de su disfrute se fijará de común",
+    "decoded_text": "2. el periodo o periodos de su disfrute se fijara de comun",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      'E' --> 'e'",
+      "replace   text[9:10] --> decoded_text[9:10]      'í' --> 'i'",
+      "replace   text[19:20] --> decoded_text[19:20]      'í' --> 'i'",
+      "replace   text[48:49] --> decoded_text[48:49]      'á' --> 'a'",
+      "replace   text[56:57] --> decoded_text[56:57]      'ú' --> 'u'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.08620689655172414,
+    "oov_charset": "[\"E\", \"í\", \"á\", \"ú\"]"
+  },
+  {
+    "text": "con lo establecido en su caso en los Convenios Colectivos",
+    "decoded_text": "con lo establecido en su caso en los convenios colectivos",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:38]      'C' --> 'c'",
+      "replace   text[47:48] --> decoded_text[47:48]      'C' --> 'c'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.03508771929824561,
+    "oov_charset": "[\"C\"]"
+  },
+  {
+    "text": "sobre planificación anual de las vacaciones.",
+    "decoded_text": "sobre planificacion anual de las vacaciones.",
+    "diff": [
+      "replace   text[17:18] --> decoded_text[17:18]      'ó' --> 'o'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.022727272727272728,
+    "oov_charset": "[\"ó\"]"
+  },
+  {
+    "text": "En caso de desacuerdo entre las partes, la jurisdicción competente",
+    "decoded_text": "en caso de desacuerdo entre las partes, la jurisdiccion competente",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'",
+      "replace   text[53:54] --> decoded_text[53:54]      'ó' --> 'o'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.030303030303030304,
+    "oov_charset": "[\"E\", \"ó\"]"
+  }
 ]

stats/compression_rate/cyberagent.open-calm-7b @ cc100.de.diff.json

@@ -1,102 +1,102 @@
-[
-  {
-    "text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen * !",
-    "decoded_text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen *!",
-    "diff": [
-      "delete    text[67:68] --> decoded_text[67:67]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Laut dieser Studie sind es ....",
-    "decoded_text": "Laut dieser Studie sind es....",
-    "diff": [
-      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren ...",
-    "decoded_text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren...",
-    "diff": [
-      "delete    text[78:79] --> decoded_text[78:78]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
-    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
-    "diff": [
-      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
-    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
-    "diff": [
-      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
-    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
-    "diff": [
-      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit ,",
-    "decoded_text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit,",
-    "diff": [
-      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte über seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
-    "decoded_text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte Ã1⁄4ber seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
-    "diff": [
-      "replace   text[178:179] --> decoded_text[178:181]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.00392156862745098,
-    "oov_charset": "[\"¼\"]"
-  },
-  {
-    "text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den Gürtel und ließ sie gehen.",
-    "decoded_text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den GÃ1⁄4rtel und ließ sie gehen.",
-    "diff": [
-      "replace   text[113:114] --> decoded_text[113:116]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.007194244604316547,
-    "oov_charset": "[\"¼\"]"
-  },
-  {
-    "text": "Und die Kinder Ammon zogen aus und rüsteten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
-    "decoded_text": "Und die Kinder Ammon zogen aus und rÃ1⁄4steten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
-    "diff": [
-      "replace   text[37:38] --> decoded_text[37:40]      '¼' --> '1⁄4'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.005847953216374269,
-    "oov_charset": "[\"¼\"]"
-  }
+[
+  {
+    "text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen * !",
+    "decoded_text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen *!",
+    "diff": [
+      "delete    text[67:68] --> decoded_text[67:67]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Laut dieser Studie sind es ....",
+    "decoded_text": "Laut dieser Studie sind es....",
+    "diff": [
+      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren ...",
+    "decoded_text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren...",
+    "diff": [
+      "delete    text[78:79] --> decoded_text[78:78]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "diff": [
+      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "diff": [
+      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "diff": [
+      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit ,",
+    "decoded_text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit,",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte über seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
+    "decoded_text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte Ã1⁄4ber seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
+    "diff": [
+      "replace   text[178:179] --> decoded_text[178:181]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.00392156862745098,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den Gürtel und ließ sie gehen.",
+    "decoded_text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den GÃ1⁄4rtel und ließ sie gehen.",
+    "diff": [
+      "replace   text[113:114] --> decoded_text[113:116]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007194244604316547,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Und die Kinder Ammon zogen aus und rüsteten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
+    "decoded_text": "Und die Kinder Ammon zogen aus und rÃ1⁄4steten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:40]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005847953216374269,
+    "oov_charset": "[\"¼\"]"
+  }
 ]

stats/compression_rate/dbmdz.bert-base-german-uncased @ cc100.zh-Hans.diff.json

@@ -1,150 +1,150 @@
-[
-  {
-    "text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
-    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ( www. suzastampin. com ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 2012 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 4s [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 6000 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 4008112233 [UNK] 3456 [UNK] [UNK] [UNK]",
-    "diff": [
-      "replace   text[0:9] --> decoded_text[0:54] '卍招财带什么佛牌卍' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "insert    text[10:10] --> decoded_text[55:56]       '' --> ' '",
-      "insert    text[14:14] --> decoded_text[60:61]       '' --> ' '",
-      "insert    text[26:26] --> decoded_text[73:74]       '' --> ' '",
-      "insert    text[29:29] --> decoded_text[77:78]       '' --> ' '",
-      "replace   text[30:37] --> decoded_text[79:122] '卡尔・斯利姆于' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[41:131] --> decoded_text[126:667] '年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[132:159] --> decoded_text[668:826] 'S店得知，店内朗动车型有现车供应，现阶段购车可享受最高' --> 's [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[163:196] --> decoded_text[830:1029] '元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[206:207] --> decoded_text[1039:1046]      '转' --> ' [UNK] '",
-      "replace   text[211:214] --> decoded_text[1050:1068]    '详询：' --> ' [UNK] [UNK] [UNK]'"
-    ],
-    "n_oov_chars": 170,
-    "oov_ratio": 0.794392523364486,
-    "oov_charset": "[\"卍\", \"招\", \"财\", \"带\", \"什\", \"么\", \"佛\", \"牌\", \"卡\", \"尔\", \"・\", \"斯\", \"利\", \"姆\", \"于\", \"年\", \"加\", \"入\", \"塔\", \"汽\", \"车\", \"公\", \"司\", \"担\", \"任\", \"总\", \"经\", \"理\", \"一\", \"职\", \"，\", \"并\", \"负\", \"责\", \"在\", \"印\", \"度\", \"及\", \"国\", \"际\", \"市\", \"场\", \"上\", \"除\", \"捷\", \"豹\", \"和\", \"路\", \"虎\", \"以\", \"外\", \"的\", \"业\", \"务\", \"。\", \"这\", \"位\", \"坦\", \"福\", \"大\", \"学\", \"毕\", \"生\", \"曾\", \"通\", \"用\", \"中\", \"合\", \"资\", \"近\", \"日\", \"编\", \"辑\", \"专\", \"门\", \"联\", \"系\", \"到\", \"山\", \"西\", \"传\", \"奇\", \"北\", \"京\", \"现\", \"代\", \"S\", \"店\", \"得\", \"知\", \"内\", \"朗\", \"动\", \"型\", \"有\", \"供\", \"应\", \"阶\", \"段\", \"购\", \"可\", \"享\", \"受\", \"最\", \"高\", \"元\", \"优\", \"惠\", \"幅\", \"具\", \"体\", \"价\", \"格\", \"情\", \"况\", \"请\", \"见\", \"下\", \"表\", \"同\", \"时\", \"感\", \"兴\", \"趣\", \"朋\", \"友\", \"还\", \"致\", \"电\", \"转\", \"详\", \"询\", \"：\"]"
-  },
-  {
-    "text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。",
-    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
-    "diff": [
-      "replace   text[0:124] --> decoded_text[0:743] '一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
-    ],
-    "n_oov_chars": 124,
-    "oov_ratio": 1.0,
-    "oov_charset": "[\"一\", \"个\", \"类\", \"似\", \"美\", \"国\", \"大\", \"片\", \"《\", \"幸\", \"福\", \"终\", \"点\", \"站\", \"》\", \"的\", \"案\", \"例\", \"令\", \"中\", \"驻\", \"圣\", \"彼\", \"得\", \"堡\", \"领\", \"事\", \"官\", \"胡\", \"滨\", \"印\", \"象\", \"深\", \"刻\", \"。\", \"由\", \"于\", \"行\", \"前\", \"未\", \"能\", \"仔\", \"细\", \"核\", \"对\", \"签\", \"证\", \"有\", \"效\", \"期\", \"，\", \"赴\", \"俄\", \"罗\", \"斯\", \"旅\", \"游\", \"夫\", \"妇\", \"因\", \"为\", \"过\", \"差\", \"被\", \"困\", \"在\", \"协\", \"助\", \"下\", \"这\", \"经\", \"历\", \"了\", \"惊\", \"心\", \"动\", \"魄\", \"３\", \"小\", \"时\", \"飞\", \"机\", \"起\", \"５\", \"分\", \"钟\", \"登\", \"上\", \"返\", \"程\", \"航\", \"班\"]"
-  },
-  {
-    "text": "招财带什么佛牌张德江在致辞中表示，中法建交开启了中法两个伟大国家友好关系的新纪元，树立了不同社会制度国家和平共处的新典范，对国际战略格局产生了重大而深远的影响。",
-    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
-    "diff": [
-      "replace   text[0:80] --> decoded_text[0:479] '招财带什么佛牌张德江在致辞中表示，中法建交开启了中法两个伟大国家友好关系的新纪元，树立了不同社会制度国家和平共处的新典范，对国际战略格局产生了重大而深远的影响。' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
-    ],
-    "n_oov_chars": 80,
-    "oov_ratio": 1.0,
-    "oov_charset": "[\"招\", \"财\", \"带\", \"什\", \"么\", \"佛\", \"牌\", \"张\", \"德\", \"江\", \"在\", \"致\", \"辞\", \"中\", \"表\", \"示\", \"，\", \"法\", \"建\", \"交\", \"开\", \"启\", \"了\", \"两\", \"个\", \"伟\", \"大\", \"国\", \"家\", \"友\", \"好\", \"关\", \"系\", \"的\", \"新\", \"纪\", \"元\", \"树\", \"立\", \"不\", \"同\", \"社\", \"会\", \"制\", \"度\", \"和\", \"平\", \"共\", \"处\", \"典\", \"范\", \"对\", \"际\", \"战\", \"略\", \"格\", \"局\", \"产\", \"生\", \"重\", \"而\", \"深\", \"远\", \"影\", \"响\", \"。\"]"
-  },
-  {
-    "text": "招财带什么佛牌科斯格罗夫一直供职于军队，曾被派往马来西亚、越南、英国、印度、美国工作。1999年，他成为联合国驻东帝汶部队司令，监督东帝汶向独立国家的过渡。",
-    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 1999 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
-    "diff": [
-      "replace   text[0:43] --> decoded_text[0:258] '招财带什么佛牌科斯格罗夫一直供职于军队，曾被派往马来西亚、越南、英国、印度、美国工作。' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[47:78] --> decoded_text[262:448] '年，他成为联合国驻东帝汶部队司令，监督东帝汶向独立国家的过渡。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
-    ],
-    "n_oov_chars": 74,
-    "oov_ratio": 0.9487179487179487,
-    "oov_charset": "[\"招\", \"财\", \"带\", \"什\", \"么\", \"佛\", \"牌\", \"科\", \"斯\", \"格\", \"罗\", \"夫\", \"一\", \"直\", \"供\", \"职\", \"于\", \"军\", \"队\", \"，\", \"曾\", \"被\", \"派\", \"往\", \"马\", \"来\", \"西\", \"亚\", \"、\", \"越\", \"南\", \"英\", \"国\", \"印\", \"度\", \"美\", \"工\", \"作\", \"。\", \"年\", \"他\", \"成\", \"为\", \"联\", \"合\", \"驻\", \"东\", \"帝\", \"汶\", \"部\", \"司\", \"令\", \"监\", \"督\", \"向\", \"独\", \"立\", \"家\", \"的\", \"过\", \"渡\"]"
-  },
-  {
-    "text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
-    "decoded_text": "1 [UNK] 28 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 50 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ( ringostarr ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] • • [UNK] [UNK] [UNK] ( juliaroberts ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] queenieeye [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] photograph [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
-    "diff": [
-      "replace   text[1:2] --> decoded_text[1:8]      '月' --> ' [UNK] '",
-      "replace   text[4:30] --> decoded_text[10:167] '日电据香港《明报》消息，在庆祝披头士进军美国音乐市场' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[32:61] --> decoded_text[169:344] '周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[62:63] --> decoded_text[345:347]      'R' --> ' r'",
-      "replace   text[67:68] --> decoded_text[351:352]      'S' --> 's'",
-      "insert    text[72:72] --> decoded_text[356:357]       '' --> ' '",
-      "replace   text[73:106] --> decoded_text[358:557] '颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "insert    text[107:107] --> decoded_text[558:559]       '' --> ' '",
-      "replace   text[108:111] --> decoded_text[560:579]    '罗伯茨' --> ' [UNK] [UNK] [UNK] '",
-      "replace   text[112:113] --> decoded_text[580:582]      'J' --> ' j'",
-      "replace   text[117:118] --> decoded_text[586:587]      'R' --> 'r'",
-      "insert    text[124:124] --> decoded_text[593:594]       '' --> ' '",
-      "replace   text[125:153] --> decoded_text[595:759] '负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《Q' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] q'",
-      "replace   text[159:160] --> decoded_text[765:766]      'E' --> 'e'",
-      "replace   text[162:176] --> decoded_text[768:848] '》，然后轮到后者演绎旧作《P' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] p'",
-      "replace   text[185:201] --> decoded_text[857:953] '》，带领歌迷重温昔日的美好情怀。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
-    ],
-    "n_oov_chars": 155,
-    "oov_ratio": 0.7711442786069652,
-    "oov_charset": "[\"月\", \"日\", \"电\", \"据\", \"香\", \"港\", \"《\", \"明\", \"报\", \"》\", \"消\", \"息\", \"，\", \"在\", \"庆\", \"祝\", \"披\", \"头\", \"士\", \"进\", \"军\", \"美\", \"国\", \"音\", \"乐\", \"市\", \"场\", \"周\", \"年\", \"的\", \"纪\", \"念\", \"子\", \"格\", \"莱\", \"向\", \"两\", \"名\", \"仅\", \"存\", \"成\", \"员\", \"：\", \"保\", \"罗\", \"麦\", \"卡\", \"尼\", \"及\", \"灵\", \"高\", \"史\", \"达\", \"R\", \"S\", \"颁\", \"发\", \"终\", \"身\", \"就\", \"奖\", \"显\", \"得\", \"别\", \"具\", \"意\", \"义\", \"。\", \"为\", \"了\", \"隆\", \"重\", \"其\", \"事\", \"大\", \"会\", \"请\", \"来\", \"金\", \"像\", \"影\", \"后\", \"茱\", \"莉\", \"亚\", \"伯\", \"茨\", \"J\", \"负\", \"责\", \"介\", \"绍\", \"二\", \"人\", \"出\", \"拍\", \"档\", \"鼓\", \"声\", \"和\", \"应\", \"下\", \"先\", \"献\", \"唱\", \"新\", \"歌\", \"Q\", \"E\", \"然\", \"轮\", \"到\", \"者\", \"演\", \"绎\", \"旧\", \"作\", \"P\", \"带\", \"领\", \"迷\", \"温\", \"昔\", \"好\", \"情\", \"怀\"]"
-  },
-  {
-    "text": "佛牌绳哪里有卖到达目的地后，记者全程的总车费是14元，但司机到账21元，因此，司机给记者7元，除去之前支付的1元，记者净赚6元，还免费乘了本应支付14元的车。",
-    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 14 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 21 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 7 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 1 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 6 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 14 [UNK] [UNK] [UNK] [UNK]",
-    "diff": [
-      "replace   text[0:23] --> decoded_text[0:138] '佛牌绳哪里有卖到达目的地后，记者全程的总车费是' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[25:32] --> decoded_text[140:183] '元，但司机到账' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[34:44] --> decoded_text[185:246] '元，因此，司机给记者' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[45:54] --> decoded_text[247:302] '元，除去之前支付的' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[55:61] --> decoded_text[303:340] '元，记者净赚' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[62:73] --> decoded_text[341:408] '元，还免费乘了本应支付' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[75:79] --> decoded_text[410:434]   '元的车。' --> ' [UNK] [UNK] [UNK] [UNK]'"
-    ],
-    "n_oov_chars": 70,
-    "oov_ratio": 0.8860759493670886,
-    "oov_charset": "[\"佛\", \"牌\", \"绳\", \"哪\", \"里\", \"有\", \"卖\", \"到\", \"达\", \"目\", \"的\", \"地\", \"后\", \"，\", \"记\", \"者\", \"全\", \"程\", \"总\", \"车\", \"费\", \"是\", \"元\", \"但\", \"��\", \"机\", \"账\", \"因\", \"此\", \"给\", \"除\", \"去\", \"之\", \"前\", \"支\", \"付\", \"净\", \"赚\", \"还\", \"免\", \"乘\", \"了\", \"本\", \"应\", \"。\"]"
-  },
-  {
-    "text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
-    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 2012 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ( [UNK] [UNK] [UNK] )",
-    "diff": [
-      "replace   text[0:7] --> decoded_text[0:42] '卡尔・斯利姆于' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[11:110] --> decoded_text[46:641] '年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[111:114] --> decoded_text[642:661]    '方赵春' --> ' [UNK] [UNK] [UNK] '"
-    ],
-    "n_oov_chars": 109,
-    "oov_ratio": 0.9478260869565217,
-    "oov_charset": "[\"卡\", \"尔\", \"・\", \"斯\", \"利\", \"姆\", \"于\", \"年\", \"加\", \"入\", \"塔\", \"汽\", \"车\", \"公\", \"司\", \"担\", \"任\", \"总\", \"经\", \"理\", \"一\", \"职\", \"，\", \"并\", \"负\", \"责\", \"在\", \"印\", \"度\", \"及\", \"国\", \"际\", \"市\", \"场\", \"上\", \"除\", \"捷\", \"豹\", \"和\", \"路\", \"虎\", \"以\", \"外\", \"的\", \"业\", \"务\", \"。\", \"这\", \"位\", \"坦\", \"福\", \"大\", \"学\", \"毕\", \"生\", \"曾\", \"通\", \"用\", \"中\", \"合\", \"资\", \"副\", \"裁\", \"五\", \"菱\", \"方\", \"赵\", \"春\"]"
-  },
-  {
-    "text": "大腕导演不可能每部作品都是你喜欢的东西，如果他一时控制不住情绪，就让他骂吧。他也是人，不是神，人就有自己的脾气。他这次执导春晚，对我也开骂：“老毕，我跟你说了这么长时间，让你走2号位，你非要走1号位，你想跟我较死劲是不是？”这也是骂人。但因为你非常了解他，他也不一定有恶意。",
-    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] “ [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 2 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 1 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ” [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
-    "diff": [
-      "replace   text[0:70] --> decoded_text[0:420] '大腕导演不可能每部作品都是你喜欢的东西，如果他一时控制不住情绪，就让他骂吧。他也是人，不是神，人就有自己的脾气。他这次执导春晚，对我也开骂：' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[71:88] --> decoded_text[421:524] '老毕，我跟你说了这么长时间，让你走' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[89:96] --> decoded_text[525:568] '号位，你非要走' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[97:111] --> decoded_text[569:654] '号位，你想跟我较死劲是不是？' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[112:137] --> decoded_text[655:805] '这也是骂人。但因为你非常了解他，他也不一定有恶意。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
-    ],
-    "n_oov_chars": 133,
-    "oov_ratio": 0.9708029197080292,
-    "oov_charset": "[\"大\", \"腕\", \"导\", \"演\", \"不\", \"可\", \"能\", \"每\", \"部\", \"作\", \"品\", \"都\", \"是\", \"你\", \"喜\", \"欢\", \"的\", \"东\", \"西\", \"，\", \"如\", \"果\", \"他\", \"一\", \"时\", \"控\", \"制\", \"住\", \"情\", \"绪\", \"就\", \"让\", \"骂\", \"吧\", \"。\", \"也\", \"人\", \"神\", \"有\", \"自\", \"己\", \"脾\", \"气\", \"这\", \"次\", \"执\", \"春\", \"晚\", \"对\", \"我\", \"开\", \"：\", \"老\", \"毕\", \"跟\", \"说\", \"了\", \"么\", \"长\", \"间\", \"走\", \"号\", \"位\", \"非\", \"要\", \"想\", \"较\", \"死\", \"劲\", \"？\", \"但\", \"因\", \"为\", \"常\", \"解\", \"定\", \"恶\", \"意\"]"
-  },
-  {
-    "text": "招财带什么佛牌不过挣得多，娜姐也花得多。有媒体报道，教练卡洛斯的年薪高达360万元人民币，李娜每年的花费是600多万元。用一个形象的比喻，娜姐每天一睁眼，将近2万元就出去了。",
-    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 360 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 600 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 2 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
-    "diff": [
-      "replace   text[0:36] --> decoded_text[0:216] '招财带什么佛牌不过挣得多，娜姐也花得多。有媒体报道，教练卡洛斯的年薪高达' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[39:53] --> decoded_text[219:304] '万元人民币，李娜每年的花费是' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[56:79] --> decoded_text[307:446] '多万元。用一个形象的比喻，娜姐每天一睁眼，将近' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[80:87] --> decoded_text[447:489] '万元就出去了。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
-    ],
-    "n_oov_chars": 80,
-    "oov_ratio": 0.9195402298850575,
-    "oov_charset": "[\"招\", \"财\", \"带\", \"什\", \"么\", \"佛\", \"牌\", \"不\", \"过\", \"挣\", \"得\", \"多\", \"，\", \"娜\", \"姐\", \"也\", \"花\", \"。\", \"有\", \"媒\", \"体\", \"报\", \"道\", \"教\", \"练\", \"卡\", \"洛\", \"斯\", \"的\", \"年\", \"薪\", \"高\", \"达\", \"万\", \"元\", \"人\", \"民\", \"币\", \"李\", \"每\", \"费\", \"是\", \"用\", \"一\", \"个\", \"形\", \"象\", \"比\", \"喻\", \"天\", \"睁\", \"眼\", \"将\", \"近\", \"就\", \"出\", \"去\", \"了\"]"
-  },
-  {
-    "text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’，一般的坏人做坏事都是心虚的，但是这个人物却做得心安理得，理直气壮，我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来，昨日王先生在搭出租车时，遇到的的哥不仅“拾金而昧”，还“昧”得理直气壮。",
-    "decoded_text": "“ [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ‘ [UNK] [UNK] [UNK] [UNK] ’ [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ” [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] “ [UNK] [UNK] [UNK] [UNK] ” [UNK] [UNK] “ [UNK] ” [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
-    "diff": [
-      "replace   text[1:19] --> decoded_text[1:110] '金庸的小说《连城诀》里有一个反派人物' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[20:24] --> decoded_text[111:136]   '血刀老祖' --> ' [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[25:72] --> decoded_text[137:420] '，一般的坏人做坏事都是心虚的，但是这个人物却做得心安理得，理直气壮，我遇到的这个的哥就是这样。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[73:115] --> decoded_text[421:674] '王先生向记者描述经过时第一句话便这样说。原来，昨日王先生在搭出租车时，遇到的的哥不仅' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[116:120] --> decoded_text[675:700]   '拾金而昧' --> ' [UNK] [UNK] [UNK] [UNK] '",
-      "replace   text[121:123] --> decoded_text[701:714]     '，还' --> ' [UNK] [UNK] '",
-      "replace   text[124:125] --> decoded_text[715:722]      '昧' --> ' [UNK] '",
-      "replace   text[126:132] --> decoded_text[723:759] '得理直气壮。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
-    ],
-    "n_oov_chars": 124,
-    "oov_ratio": 0.9393939393939394,
-    "oov_charset": "[\"金\", \"庸\", \"的\", \"小\", \"说\", \"《\", \"连\", \"城\", \"诀\", \"》\", \"里\", \"有\", \"一\", \"个\", \"反\", \"派\", \"人\", \"物\", \"血\", \"刀\", \"老\", \"祖\", \"，\", \"般\", \"坏\", \"做\", \"事\", \"都\", \"是\", \"心\", \"虚\", \"但\", \"这\", \"却\", \"得\", \"安\", \"理\", \"直\", \"气\", \"壮\", \"我\", \"遇\", \"到\", \"哥\", \"就\", \"样\", \"。\", \"王\", \"先\", \"生\", \"向\", \"记\", \"者\", \"描\", \"述\", \"经\", \"过\", \"时\", \"第\", \"句\", \"话\", \"便\", \"原\", \"来\", \"昨\", \"日\", \"在\", \"搭\", \"出\", \"租\", \"车\", \"不\", \"仅\", \"拾\", \"而\", \"昧\", \"还\"]"
-  }
+[
+  {
+    "text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
+    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ( www. suzastampin. com ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 2012 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 4s [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 6000 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 4008112233 [UNK] 3456 [UNK] [UNK] [UNK]",
+    "diff": [
+      "replace   text[0:9] --> decoded_text[0:54] '卍招财带什么佛牌卍' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "insert    text[10:10] --> decoded_text[55:56]       '' --> ' '",
+      "insert    text[14:14] --> decoded_text[60:61]       '' --> ' '",
+      "insert    text[26:26] --> decoded_text[73:74]       '' --> ' '",
+      "insert    text[29:29] --> decoded_text[77:78]       '' --> ' '",
+      "replace   text[30:37] --> decoded_text[79:122] '卡尔・斯利姆于' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[41:131] --> decoded_text[126:667] '年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和��虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[132:159] --> decoded_text[668:826] 'S店得知，店内朗动车型有现车供应，现阶段购车可享受最高' --> 's [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[163:196] --> decoded_text[830:1029] '元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[206:207] --> decoded_text[1039:1046]      '转' --> ' [UNK] '",
+      "replace   text[211:214] --> decoded_text[1050:1068]    '详询：' --> ' [UNK] [UNK] [UNK]'"
+    ],
+    "n_oov_chars": 170,
+    "oov_ratio": 0.794392523364486,
+    "oov_charset": "[\"卍\", \"招\", \"财\", \"带\", \"什\", \"么\", \"佛\", \"牌\", \"卡\", \"尔\", \"・\", \"斯\", \"利\", \"姆\", \"于\", \"年\", \"加\", \"入\", \"塔\", \"汽\", \"车\", \"公\", \"司\", \"担\", \"任\", \"总\", \"经\", \"理\", \"一\", \"职\", \"，\", \"并\", \"负\", \"责\", \"在\", \"印\", \"度\", \"及\", \"国\", \"际\", \"市\", \"场\", \"上\", \"除\", \"捷\", \"豹\", \"和\", \"路\", \"虎\", \"以\", \"外\", \"的\", \"业\", \"务\", \"。\", \"这\", \"位\", \"坦\", \"福\", \"大\", \"学\", \"毕\", \"生\", \"曾\", \"通\", \"用\", \"中\", \"合\", \"资\", \"近\", \"日\", \"编\", \"辑\", \"专\", \"门\", \"联\", \"系\", \"到\", \"山\", \"西\", \"传\", \"奇\", \"北\", \"京\", \"现\", \"代\", \"S\", \"店\", \"得\", \"知\", \"内\", \"朗\", \"动\", \"型\", \"有\", \"供\", \"应\", \"阶\", \"段\", \"购\", \"可\", \"享\", \"受\", \"最\", \"高\", \"元\", \"优\", \"惠\", \"幅\", \"具\", \"体\", \"价\", \"格\", \"情\", \"况\", \"请\", \"见\", \"下\", \"表\", \"同\", \"时\", \"感\", \"兴\", \"趣\", \"朋\", \"友\", \"还\", \"致\", \"电\", \"转\", \"详\", \"询\", \"：\"]"
+  },
+  {
+    "text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。",
+    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
+    "diff": [
+      "replace   text[0:124] --> decoded_text[0:743] '一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
+    ],
+    "n_oov_chars": 124,
+    "oov_ratio": 1.0,
+    "oov_charset": "[\"一\", \"个\", \"类\", \"似\", \"美\", \"国\", \"大\", \"片\", \"《\", \"幸\", \"福\", \"终\", \"点\", \"站\", \"》\", \"的\", \"案\", \"例\", \"令\", \"中\", \"驻\", \"圣\", \"彼\", \"得\", \"堡\", \"领\", \"事\", \"官\", \"胡\", \"滨\", \"印\", \"象\", \"深\", \"刻\", \"。\", \"由\", \"于\", \"行\", \"前\", \"未\", \"能\", \"仔\", \"细\", \"核\", \"对\", \"签\", \"证\", \"有\", \"效\", \"期\", \"，\", \"赴\", \"俄\", \"罗\", \"斯\", \"旅\", \"游\", \"夫\", \"妇\", \"因\", \"为\", \"过\", \"差\", \"被\", \"困\", \"在\", \"协\", \"助\", \"下\", \"这\", \"经\", \"历\", \"了\", \"惊\", \"心\", \"动\", \"魄\", \"３\", \"小\", \"时\", \"飞\", \"机\", \"起\", \"５\", \"分\", \"钟\", \"登\", \"上\", \"返\", \"程\", \"航\", \"班\"]"
+  },
+  {
+    "text": "招财带什么佛牌张德江在致辞中表示，中法建交开启了中法两个伟大国家友好关系的新纪元，树立了不同社会制度国家和平共处的新典范，对国际战略格局产生了重大而深远的影响。",
+    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
+    "diff": [
+      "replace   text[0:80] --> decoded_text[0:479] '招财带什么佛牌张德江在致辞中表示，中法建交开启了中法两个伟大国家友好关系的新纪元，树立了不同社会制度国家和平共处的新典范，对国际战略格局产生了重大而深远的影响。' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
+    ],
+    "n_oov_chars": 80,
+    "oov_ratio": 1.0,
+    "oov_charset": "[\"招\", \"财\", \"带\", \"什\", \"么\", \"佛\", \"牌\", \"张\", \"德\", \"江\", \"在\", \"致\", \"辞\", \"中\", \"表\", \"示\", \"，\", \"法\", \"建\", \"交\", \"开\", \"启\", \"了\", \"两\", \"个\", \"伟\", \"大\", \"国\", \"家\", \"友\", \"好\", \"关\", \"系\", \"的\", \"新\", \"纪\", \"元\", \"树\", \"立\", \"不\", \"同\", \"社\", \"会\", \"制\", \"度\", \"和\", \"平\", \"共\", \"处\", \"典\", \"范\", \"对\", \"际\", \"战\", \"略\", \"格\", \"局\", \"产\", \"生\", \"重\", \"而\", \"深\", \"远\", \"影\", \"响\", \"。\"]"
+  },
+  {
+    "text": "招财带什么佛牌科斯格罗夫一直供职于军队，曾被派往马来西亚、越南、英国、印度、美国工作。1999年，他成为联合国驻东帝汶部队司令，监督东帝汶向独立国家的过渡。",
+    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 1999 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
+    "diff": [
+      "replace   text[0:43] --> decoded_text[0:258] '招财带什么佛牌科斯格罗夫一直供职于军队，曾被派往马来西亚、越南、英国、印度、美国工作。' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[47:78] --> decoded_text[262:448] '年，他成为联合国驻东帝汶部队司令，监督东帝汶向独立国家的过渡。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
+    ],
+    "n_oov_chars": 74,
+    "oov_ratio": 0.9487179487179487,
+    "oov_charset": "[\"招\", \"财\", \"带\", \"什\", \"么\", \"佛\", \"牌\", \"科\", \"斯\", \"格\", \"罗\", \"夫\", \"一\", \"直\", \"供\", \"职\", \"于\", \"军\", \"队\", \"，\", \"曾\", \"被\", \"派\", \"往\", \"马\", \"��\", \"西\", \"亚\", \"、\", \"越\", \"南\", \"英\", \"国\", \"印\", \"度\", \"美\", \"工\", \"作\", \"。\", \"年\", \"他\", \"成\", \"为\", \"联\", \"合\", \"驻\", \"东\", \"帝\", \"汶\", \"部\", \"司\", \"令\", \"监\", \"督\", \"向\", \"独\", \"立\", \"家\", \"的\", \"过\", \"渡\"]"
+  },
+  {
+    "text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
+    "decoded_text": "1 [UNK] 28 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 50 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ( ringostarr ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] • • [UNK] [UNK] [UNK] ( juliaroberts ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] queenieeye [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] photograph [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:8]      '月' --> ' [UNK] '",
+      "replace   text[4:30] --> decoded_text[10:167] '日电据香港《明报》消息，在庆祝披头士进军美国音乐市场' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[32:61] --> decoded_text[169:344] '周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[62:63] --> decoded_text[345:347]      'R' --> ' r'",
+      "replace   text[67:68] --> decoded_text[351:352]      'S' --> 's'",
+      "insert    text[72:72] --> decoded_text[356:357]       '' --> ' '",
+      "replace   text[73:106] --> decoded_text[358:557] '颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "insert    text[107:107] --> decoded_text[558:559]       '' --> ' '",
+      "replace   text[108:111] --> decoded_text[560:579]    '罗伯茨' --> ' [UNK] [UNK] [UNK] '",
+      "replace   text[112:113] --> decoded_text[580:582]      'J' --> ' j'",
+      "replace   text[117:118] --> decoded_text[586:587]      'R' --> 'r'",
+      "insert    text[124:124] --> decoded_text[593:594]       '' --> ' '",
+      "replace   text[125:153] --> decoded_text[595:759] '负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《Q' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] q'",
+      "replace   text[159:160] --> decoded_text[765:766]      'E' --> 'e'",
+      "replace   text[162:176] --> decoded_text[768:848] '》，然后轮到后者演绎旧作《P' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] p'",
+      "replace   text[185:201] --> decoded_text[857:953] '》，带领歌迷重温昔日的美好情怀。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
+    ],
+    "n_oov_chars": 155,
+    "oov_ratio": 0.7711442786069652,
+    "oov_charset": "[\"月\", \"日\", \"电\", \"据\", \"香\", \"港\", \"《\", \"明\", \"报\", \"》\", \"消\", \"息\", \"，\", \"在\", \"庆\", \"祝\", \"披\", \"头\", \"士\", \"进\", \"军\", \"美\", \"国\", \"音\", \"乐\", \"市\", \"场\", \"周\", \"年\", \"的\", \"纪\", \"念\", \"子\", \"格\", \"莱\", \"向\", \"两\", \"名\", \"仅\", \"存\", \"成\", \"员\", \"：\", \"保\", \"罗\", \"麦\", \"卡\", \"尼\", \"及\", \"灵\", \"高\", \"史\", \"达\", \"R\", \"S\", \"颁\", \"发\", \"终\", \"身\", \"就\", \"奖\", \"显\", \"得\", \"别\", \"具\", \"意\", \"义\", \"。\", \"为\", \"了\", \"隆\", \"重\", \"其\", \"事\", \"大\", \"会\", \"请\", \"来\", \"金\", \"像\", \"影\", \"后\", \"茱\", \"莉\", \"亚\", \"伯\", \"茨\", \"J\", \"负\", \"责\", \"介\", \"绍\", \"二\", \"人\", \"出\", \"拍\", \"档\", \"鼓\", \"声\", \"和\", \"应\", \"下\", \"先\", \"献\", \"唱\", \"新\", \"歌\", \"Q\", \"E\", \"然\", \"轮\", \"到\", \"者\", \"演\", \"绎\", \"旧\", \"作\", \"P\", \"带\", \"领\", \"迷\", \"温\", \"昔\", \"好\", \"情\", \"怀\"]"
+  },
+  {
+    "text": "佛牌绳哪里有卖到达目的地后，记者全程的总车费是14元，但司机到账21元，因此，司机给记者7元，除去之前支付的1元，记者净赚6元，还免费乘了本应支付14元的车。",
+    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 14 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 21 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 7 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 1 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 6 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 14 [UNK] [UNK] [UNK] [UNK]",
+    "diff": [
+      "replace   text[0:23] --> decoded_text[0:138] '佛牌绳哪里有卖到达目的地后，记者全程的总车费是' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[25:32] --> decoded_text[140:183] '元，但司机到账' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[34:44] --> decoded_text[185:246] '元，因此，司机给记者' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[45:54] --> decoded_text[247:302] '元，除去之前支付的' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[55:61] --> decoded_text[303:340] '元，记者净赚' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[62:73] --> decoded_text[341:408] '元，还免费乘了本应支付' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[75:79] --> decoded_text[410:434]   '元的车。' --> ' [UNK] [UNK] [UNK] [UNK]'"
+    ],
+    "n_oov_chars": 70,
+    "oov_ratio": 0.8860759493670886,
+    "oov_charset": "[\"佛\", \"牌\", \"绳\", \"哪\", \"里\", \"有\", \"卖\", \"到\", \"达\", \"目\", \"的\", \"地\", \"后\", \"，\", \"记\", \"者\", \"全\", \"程\", \"总\", \"车\", \"费\", \"是\", \"元\", \"但\", \"司\", \"机\", \"账\", \"因\", \"此\", \"给\", \"除\", \"去\", \"之\", \"前\", \"支\", \"付\", \"净\", \"赚\", \"还\", \"免\", \"乘\", \"了\", \"本\", \"应\", \"。\"]"
+  },
+  {
+    "text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 2012 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ( [UNK] [UNK] [UNK] )",
+    "diff": [
+      "replace   text[0:7] --> decoded_text[0:42] '卡尔・斯利姆于' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[11:110] --> decoded_text[46:641] '年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[111:114] --> decoded_text[642:661]    '方赵春' --> ' [UNK] [UNK] [UNK] '"
+    ],
+    "n_oov_chars": 109,
+    "oov_ratio": 0.9478260869565217,
+    "oov_charset": "[\"卡\", \"尔\", \"・\", \"斯\", \"利\", \"姆\", \"于\", \"年\", \"加\", \"入\", \"塔\", \"汽\", \"车\", \"公\", \"司\", \"担\", \"任\", \"总\", \"经\", \"理\", \"一\", \"职\", \"，\", \"并\", \"负\", \"责\", \"在\", \"印\", \"度\", \"及\", \"国\", \"际\", \"市\", \"场\", \"上\", \"除\", \"捷\", \"豹\", \"和\", \"路\", \"虎\", \"以\", \"外\", \"的\", \"业\", \"务\", \"。\", \"这\", \"位\", \"坦\", \"福\", \"大\", \"学\", \"毕\", \"生\", \"曾\", \"通\", \"用\", \"中\", \"合\", \"资\", \"副\", \"裁\", \"五\", \"菱\", \"方\", \"赵\", \"春\"]"
+  },
+  {
+    "text": "大腕导演不可能每部作品都是你喜欢的东西，如果他一时控制不住情绪，就让他骂吧。他也是人，不是神，人就有自己的脾气。他这次执导春晚，对我也开骂：“老毕，我跟你说了这么长时间，让你走2号位，你非要走1号位，你想跟我较死劲是不是？”这也是骂人。但因为你非常了解他，他也不一定有恶意。",
+    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] “ [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 2 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 1 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ” [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
+    "diff": [
+      "replace   text[0:70] --> decoded_text[0:420] '大腕导演不可能每部作品都是你喜欢的东西，如果他一时控制不住情绪，就让他骂吧。他也是人，不是神，人就有自己的脾气。他这次执导春晚，对我也开骂：' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[71:88] --> decoded_text[421:524] '老毕，我跟你说了这么长时间，让你走' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[89:96] --> decoded_text[525:568] '号位，你非要走' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[97:111] --> decoded_text[569:654] '号位，你想跟我较死劲是不是？' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[112:137] --> decoded_text[655:805] '这也是骂人。但因为你非常了解他，他也不一定有恶意。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
+    ],
+    "n_oov_chars": 133,
+    "oov_ratio": 0.9708029197080292,
+    "oov_charset": "[\"大\", \"腕\", \"导\", \"演\", \"不\", \"可\", \"能\", \"每\", \"部\", \"作\", \"品\", \"都\", \"是\", \"你\", \"喜\", \"欢\", \"的\", \"东\", \"西\", \"，\", \"如\", \"果\", \"他\", \"一\", \"时\", \"控\", \"制\", \"住\", \"情\", \"绪\", \"就\", \"让\", \"骂\", \"吧\", \"。\", \"也\", \"人\", \"神\", \"有\", \"自\", \"己\", \"脾\", \"气\", \"这\", \"次\", \"执\", \"春\", \"晚\", \"对\", \"我\", \"开\", \"：\", \"老\", \"毕\", \"跟\", \"说\", \"了\", \"么\", \"长\", \"间\", \"走\", \"号\", \"位\", \"非\", \"要\", \"想\", \"较\", \"死\", \"劲\", \"？\", \"但\", \"因\", \"为\", \"常\", \"解\", \"定\", \"恶\", \"意\"]"
+  },
+  {
+    "text": "招财带什么佛牌不过挣得多，娜姐也花得多。有媒体报道，教练卡洛斯的年薪高达360万元人民币，李娜每年的花费是600多万元。用一个形象的比喻，娜姐每天一睁眼，将近2万元就出去了。",
+    "decoded_text": "[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 360 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 600 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 2 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
+    "diff": [
+      "replace   text[0:36] --> decoded_text[0:216] '招财带什么佛牌不过挣得多，娜姐也花得多。有媒体报道，教练卡洛斯的年薪高达' --> '[UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[39:53] --> decoded_text[219:304] '万元人民币，李娜每年的花费是' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[56:79] --> decoded_text[307:446] '多万元。用一个形象的比喻，娜姐每天一睁眼，将近' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[80:87] --> decoded_text[447:489] '万元就出去了。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
+    ],
+    "n_oov_chars": 80,
+    "oov_ratio": 0.9195402298850575,
+    "oov_charset": "[\"招\", \"财\", \"带\", \"什\", \"么\", \"佛\", \"牌\", \"不\", \"过\", \"挣\", \"得\", \"多\", \"，\", \"娜\", \"姐\", \"也\", \"花\", \"。\", \"有\", \"媒\", \"体\", \"报\", \"道\", \"教\", \"练\", \"卡\", \"洛\", \"斯\", \"的\", \"年\", \"薪\", \"高\", \"达\", \"万\", \"元\", \"人\", \"民\", \"币\", \"李\", \"每\", \"费\", \"是\", \"用\", \"一\", \"个\", \"形\", \"象\", \"比\", \"喻\", \"天\", \"睁\", \"眼\", \"将\", \"近\", \"就\", \"出\", \"去\", \"了\"]"
+  },
+  {
+    "text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’，一般的坏人做坏事都是心虚的，但是这个人物却做得心安理得，理直气壮，我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来，昨日王先生在搭出租车时，遇到的的哥不仅“拾金而昧”，还“昧”得理直气壮。",
+    "decoded_text": "“ [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ‘ [UNK] [UNK] [UNK] [UNK] ’ [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ” [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] “ [UNK] [UNK] [UNK] [UNK] ” [UNK] [UNK] “ [UNK] ” [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]",
+    "diff": [
+      "replace   text[1:19] --> decoded_text[1:110] '金庸的小说《连城诀》里有一个反派人物' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[20:24] --> decoded_text[111:136]   '血刀老祖' --> ' [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[25:72] --> decoded_text[137:420] '，一般的坏人做坏事都是心虚的，但是这个人物却做得心安理得，理直气壮，我遇到的这个的哥就是这样。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[73:115] --> decoded_text[421:674] '王先生向记者描述经过时第一句话便这样说。原来，昨日王先生在搭出租车时，遇到的的哥不仅' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[116:120] --> decoded_text[675:700]   '拾金而昧' --> ' [UNK] [UNK] [UNK] [UNK] '",
+      "replace   text[121:123] --> decoded_text[701:714]     '，还' --> ' [UNK] [UNK] '",
+      "replace   text[124:125] --> decoded_text[715:722]      '昧' --> ' [UNK] '",
+      "replace   text[126:132] --> decoded_text[723:759] '得理直气壮。' --> ' [UNK] [UNK] [UNK] [UNK] [UNK] [UNK]'"
+    ],
+    "n_oov_chars": 124,
+    "oov_ratio": 0.9393939393939394,
+    "oov_charset": "[\"金\", \"庸\", \"的\", \"小\", \"说\", \"《\", \"连\", \"城\", \"诀\", \"》\", \"里\", \"有\", \"一\", \"个\", \"反\", \"派\", \"人\", \"物\", \"血\", \"刀\", \"老\", \"祖\", \"，\", \"般\", \"坏\", \"做\", \"事\", \"都\", \"是\", \"心\", \"虚\", \"但\", \"这\", \"却\", \"得\", \"安\", \"理\", \"直\", \"气\", \"壮\", \"我\", \"遇\", \"到\", \"哥\", \"就\", \"样\", \"。\", \"王\", \"先\", \"生\", \"向\", \"记\", \"者\", \"描\", \"述\", \"经\", \"过\", \"时\", \"第\", \"句\", \"话\", \"便\", \"原\", \"来\", \"昨\", \"日\", \"在\", \"搭\", \"出\", \"租\", \"车\", \"不\", \"仅\", \"拾\", \"而\", \"昧\", \"还\"]"
+  }
 ]

stats/compression_rate/deepseek-ai.deepseek-coder-33b-instruct @ cc100.fr.diff.json

@@ -1,104 +1,104 @@
-[
-  {
-    "text": "- je ne peux pas retenir quelque chose que je ne comprends pas (ce qui m'a posé quelques problèmes au collège, notamment pour les théorèmes de maths, où le prof a dû me garder une heure en plus pour m'expliquer des démonstrations)",
-    "decoded_text": "- je ne peux pas retenir quelque chose que je ne comprends pas (ce qui m'a posé quelques problèmes au collège, notamment pour les théorèmes de maths, o� le prof a d� me garder une heure en plus pour m'expliquer des démonstrations)",
-    "diff": [
-      "replace   text[151:152] --> decoded_text[151:152]      'ù' --> '�'",
-      "replace   text[164:165] --> decoded_text[164:165]      'û' --> '�'"
-    ],
-    "n_oov_chars": 2,
-    "oov_ratio": 0.008695652173913044,
-    "oov_charset": "[\"ù\", \"û\"]"
-  },
-  {
-    "text": "-Je veux toujours aider les autres, au risque d'en souffir (duran près de deux ans, j'ai été plus ou moins la psy de cette même fille citer plus haut, ne sachant pas où s'arréter le job de la copine)",
-    "decoded_text": "-Je veux toujours aider les autres, au risque d'en souffir (duran près de deux ans, j'ai été plus ou moins la psy de cette même fille citer plus haut, ne sachant pas o� s'arréter le job de la copine)",
-    "diff": [
-      "replace   text[167:168] --> decoded_text[167:168]      'ù' --> '�'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.005025125628140704,
-    "oov_charset": "[\"ù\"]"
-  },
-  {
-    "text": "Le délai pour l’installation commence à partir du moment où vous acceptez les changements (si changement il y a). Nos délais de livraison varient de 8 à 12 jours ouvrables selon la période de l’année.",
-    "decoded_text": "Le délai pour l’installation commence à partir du moment o� vous acceptez les changements (si changement il y a). Nos délais de livraison varient de 8 à 12 jours ouvrables selon la période de l’année.",
-    "diff": [
-      "replace   text[58:59] --> decoded_text[58:59]      'ù' --> '�'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.005,
-    "oov_charset": "[\"ù\"]"
-  },
-  {
-    "text": "-La chose que tu préfère faire au quotidien…le goûter de 4 h",
-    "decoded_text": "-La chose que tu préfère faire au quotidien…le go�ter de 4 h",
-    "diff": [
-      "replace   text[49:50] --> decoded_text[49:50]      'û' --> '�'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.016666666666666666,
-    "oov_charset": "[\"û\"]"
-  },
-  {
-    "text": "-Une passion…le dessin, et les poneys bien sûr...",
-    "decoded_text": "-Une passion…le dessin, et les poneys bien s�r...",
-    "diff": [
-      "replace   text[44:45] --> decoded_text[44:45]      'û' --> '�'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.02040816326530612,
-    "oov_charset": "[\"û\"]"
-  },
-  {
-    "text": "-Une personne qui te dégoûte…Ceux qui font du mal aux ô",
-    "decoded_text": "-Une personne qui te dégo�te…Ceux qui font du mal aux ô",
-    "diff": [
-      "replace   text[25:26] --> decoded_text[25:26]      'û' --> '�'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.01818181818181818,
-    "oov_charset": "[\"û\"]"
-  },
-  {
-    "text": "-Une personne qui te dégoûte… une sal*pe",
-    "decoded_text": "-Une personne qui te dégo�te… une sal*pe",
-    "diff": [
-      "replace   text[25:26] --> decoded_text[25:26]      'û' --> '�'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.025,
-    "oov_charset": "[\"û\"]"
-  },
-  {
-    "text": "-Un jouet des 80’s… un petit poney bien sûr..",
-    "decoded_text": "-Un jouet des 80’s… un petit poney bien s�r..",
-    "diff": [
-      "replace   text[41:42] --> decoded_text[41:42]      'û' --> '�'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.022222222222222223,
-    "oov_charset": "[\"û\"]"
-  },
-  {
-    "text": "- Une personne qui te dégoûte… Y en a pas mal qui m'exaspèrent, mais jusqu'au dégoût... Je sais pas.",
-    "decoded_text": "- Une personne qui te dégo�te… Y en a pas mal qui m'exaspèrent, mais jusqu'au dégo�t... Je sais pas.",
-    "diff": [
-      "replace   text[26:27] --> decoded_text[26:27]      'û' --> '�'",
-      "replace   text[82:83] --> decoded_text[82:83]      'û' --> '�'"
-    ],
-    "n_oov_chars": 2,
-    "oov_ratio": 0.02,
-    "oov_charset": "[\"û\"]"
-  },
-  {
-    "text": "- Si tu étais une maladie… >_>; Je mourrai d'un cancer, c'est sûr, mais j'aimerais pas l'être pour autant. Soignée par le D House !! *0*//",
-    "decoded_text": "- Si tu étais une maladie… >_>; Je mourrai d'un cancer, c'est s�r, mais j'aimerais pas l'être pour autant. Soignée par le D House !! *0*//",
-    "diff": [
-      "replace   text[63:64] --> decoded_text[63:64]      'û' --> '�'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.007246376811594203,
-    "oov_charset": "[\"û\"]"
-  }
+[
+  {
+    "text": "- je ne peux pas retenir quelque chose que je ne comprends pas (ce qui m'a posé quelques problèmes au collège, notamment pour les théorèmes de maths, où le prof a dû me garder une heure en plus pour m'expliquer des démonstrations)",
+    "decoded_text": "- je ne peux pas retenir quelque chose que je ne comprends pas (ce qui m'a posé quelques problèmes au collège, notamment pour les théorèmes de maths, o� le prof a d� me garder une heure en plus pour m'expliquer des démonstrations)",
+    "diff": [
+      "replace   text[151:152] --> decoded_text[151:152]      'ù' --> '�'",
+      "replace   text[164:165] --> decoded_text[164:165]      'û' --> '�'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.008695652173913044,
+    "oov_charset": "[\"ù\", \"û\"]"
+  },
+  {
+    "text": "-Je veux toujours aider les autres, au risque d'en souffir (duran près de deux ans, j'ai été plus ou moins la psy de cette même fille citer plus haut, ne sachant pas où s'arréter le job de la copine)",
+    "decoded_text": "-Je veux toujours aider les autres, au risque d'en souffir (duran près de deux ans, j'ai été plus ou moins la psy de cette même fille citer plus haut, ne sachant pas o� s'arréter le job de la copine)",
+    "diff": [
+      "replace   text[167:168] --> decoded_text[167:168]      'ù' --> '�'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005025125628140704,
+    "oov_charset": "[\"ù\"]"
+  },
+  {
+    "text": "Le délai pour l’installation commence à partir du moment où vous acceptez les changements (si changement il y a). Nos délais de livraison varient de 8 à 12 jours ouvrables selon la période de l’année.",
+    "decoded_text": "Le délai pour l’installation commence à partir du moment o� vous acceptez les changements (si changement il y a). Nos délais de livraison varient de 8 à 12 jours ouvrables selon la période de l’année.",
+    "diff": [
+      "replace   text[58:59] --> decoded_text[58:59]      'ù' --> '�'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005,
+    "oov_charset": "[\"ù\"]"
+  },
+  {
+    "text": "-La chose que tu préfère faire au quotidien…le goûter de 4 h",
+    "decoded_text": "-La chose que tu préfère faire au quotidien…le go�ter de 4 h",
+    "diff": [
+      "replace   text[49:50] --> decoded_text[49:50]      'û' --> '�'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016666666666666666,
+    "oov_charset": "[\"û\"]"
+  },
+  {
+    "text": "-Une passion…le dessin, et les poneys bien sûr...",
+    "decoded_text": "-Une passion…le dessin, et les poneys bien s�r...",
+    "diff": [
+      "replace   text[44:45] --> decoded_text[44:45]      'û' --> '�'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02040816326530612,
+    "oov_charset": "[\"û\"]"
+  },
+  {
+    "text": "-Une personne qui te dégoûte…Ceux qui font du mal aux ô",
+    "decoded_text": "-Une personne qui te dégo�te…Ceux qui font du mal aux ô",
+    "diff": [
+      "replace   text[25:26] --> decoded_text[25:26]      'û' --> '�'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01818181818181818,
+    "oov_charset": "[\"û\"]"
+  },
+  {
+    "text": "-Une personne qui te dégoûte… une sal*pe",
+    "decoded_text": "-Une personne qui te dégo�te… une sal*pe",
+    "diff": [
+      "replace   text[25:26] --> decoded_text[25:26]      'û' --> '�'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.025,
+    "oov_charset": "[\"û\"]"
+  },
+  {
+    "text": "-Un jouet des 80’s… un petit poney bien sûr..",
+    "decoded_text": "-Un jouet des 80’s… un petit poney bien s�r..",
+    "diff": [
+      "replace   text[41:42] --> decoded_text[41:42]      'û' --> '�'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.022222222222222223,
+    "oov_charset": "[\"û\"]"
+  },
+  {
+    "text": "- Une personne qui te dégoûte… Y en a pas mal qui m'exaspèrent, mais jusqu'au dégoût... Je sais pas.",
+    "decoded_text": "- Une personne qui te dégo�te… Y en a pas mal qui m'exaspèrent, mais jusqu'au dégo�t... Je sais pas.",
+    "diff": [
+      "replace   text[26:27] --> decoded_text[26:27]      'û' --> '�'",
+      "replace   text[82:83] --> decoded_text[82:83]      'û' --> '�'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.02,
+    "oov_charset": "[\"û\"]"
+  },
+  {
+    "text": "- Si tu étais une maladie… >_>; Je mourrai d'un cancer, c'est sûr, mais j'aimerais pas l'être pour autant. Soignée par le D House !! *0*//",
+    "decoded_text": "- Si tu étais une maladie… >_>; Je mourrai d'un cancer, c'est s�r, mais j'aimerais pas l'être pour autant. Soignée par le D House !! *0*//",
+    "diff": [
+      "replace   text[63:64] --> decoded_text[63:64]      'û' --> '�'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007246376811594203,
+    "oov_charset": "[\"û\"]"
+  }
 ]

stats/compression_rate/deepseek-ai.deepseek-coder-33b-instruct @ cc100.zh-Hans.diff.json

@@ -1,12 +1,12 @@
-[
-  {
-    "text": "在这一瞬间，所有的乌山族人都lù出悲哀的疯狂，但他们什么也做不了，这一刻，就连乌山族长都难★以去帮助阿公……",
-    "decoded_text": "在这一瞬间，所有的乌山族人都l�出悲哀的疯狂，但他们什么也做不了，这一刻，就连乌山族长都难★以去帮助阿公……",
-    "diff": [
-      "replace   text[15:16] --> decoded_text[15:16]      'ù' --> '�'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.018518518518518517,
-    "oov_charset": "[\"ù\"]"
-  }
+[
+  {
+    "text": "在这一瞬间，所有的乌山族人都lù出悲哀的疯狂，但他们什么也做不了，这一刻，就连乌山族长都难★以去帮助阿公……",
+    "decoded_text": "在这一瞬间，所有的乌山族人都l�出悲哀的疯狂，但他们什么也做不了，这一刻，就连乌山族长都难★以去帮助阿公……",
+    "diff": [
+      "replace   text[15:16] --> decoded_text[15:16]      'ù' --> '�'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.018518518518518517,
+    "oov_charset": "[\"ù\"]"
+  }
 ]

stats/compression_rate/google-bert.bert-base-cased @ cc100.en.diff.json

@@ -1,159 +1,159 @@
-[
-  {
-    "text": "Belmont Estate is on the market for $63 million and boasts roughly 22,000 square feet of luxurious finishes and elaborate architecture on 1.28 acres. Listed on Thursday, the home is being sold by high-end real estate firm Sotheby’s International Realty Canada.",
-    "decoded_text": "Belmont Estate is on the market for $ 63 million and boasts roughly 22, 000 square feet of luxurious finishes and elaborate architecture on 1. 28 acres. Listed on Thursday, the home is being sold by high - end real estate firm Sotheby ’ s International Realty Canada.",
-    "diff": [
-      "insert    text[37:37] --> decoded_text[37:38]       '' --> ' '",
-      "insert    text[70:70] --> decoded_text[71:72]       '' --> ' '",
-      "insert    text[140:140] --> decoded_text[142:143]       '' --> ' '",
-      "insert    text[200:200] --> decoded_text[203:204]       '' --> ' '",
-      "insert    text[201:201] --> decoded_text[205:206]       '' --> ' '",
-      "insert    text[229:229] --> decoded_text[234:235]       '' --> ' '",
-      "insert    text[230:230] --> decoded_text[236:237]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "“Within the city we’ve had homes that have sold for $56 million, $33 million, $31 million but this will be the record of the offering price,” listing agent Christa Frosch of Sotheby’s tells BuzzBuzzNews.",
-    "decoded_text": "“ Within the city we ’ ve had homes that have sold for $ 56 million, $ 33 million, $ 31 million but this will be the record of the offering price, ” listing agent Christa Frosch of Sotheby ’ s tells BuzzBuzzNews.",
-    "diff": [
-      "insert    text[1:1] --> decoded_text[1:2]       '' --> ' '",
-      "insert    text[19:19] --> decoded_text[20:21]       '' --> ' '",
-      "insert    text[20:20] --> decoded_text[22:23]       '' --> ' '",
-      "insert    text[53:53] --> decoded_text[56:57]       '' --> ' '",
-      "insert    text[66:66] --> decoded_text[70:71]       '' --> ' '",
-      "insert    text[79:79] --> decoded_text[84:85]       '' --> ' '",
-      "insert    text[140:140] --> decoded_text[146:147]       '' --> ' '",
-      "insert    text[181:181] --> decoded_text[188:189]       '' --> ' '",
-      "insert    text[182:182] --> decoded_text[190:191]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "The three-storey home has five bedrooms, twelve bathrooms and an elevator in the west wing. Built to entertain, two main gallery halls can seat up to 100 guests. The Italian-inspired kitchen includes a fireplace and walls and ceilings throughout the home feature murals and artwork. Lavish amenities include an indoor pool and sauna, a six-car garage and a private entrance in-law’s suite.",
-    "decoded_text": "The three - storey home has five bedrooms, twelve bathrooms and an elevator in the west wing. Built to entertain, two main gallery halls can seat up to 100 guests. The Italian - inspired kitchen includes a fireplace and walls and ceilings throughout the home feature murals and artwork. Lavish amenities include an indoor pool and sauna, a six - car garage and a private entrance in - law ’ s suite.",
-    "diff": [
-      "insert    text[9:9] --> decoded_text[9:10]       '' --> ' '",
-      "insert    text[10:10] --> decoded_text[11:12]       '' --> ' '",
-      "insert    text[173:173] --> decoded_text[175:176]       '' --> ' '",
-      "insert    text[174:174] --> decoded_text[177:178]       '' --> ' '",
-      "insert    text[339:339] --> decoded_text[343:344]       '' --> ' '",
-      "replace   text[340:376] --> decoded_text[345:383] 'car garage and a private entrance in' --> ' car garage and a private entrance in '",
-      "replace   text[377:380] --> decoded_text[384:389]    'law' --> ' law '",
-      "insert    text[381:381] --> decoded_text[390:391]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Surrounding the property is a Versailles-inspired garden with a variety of trees, plants and an orchard. In the spring, over 12,000 flowers bloom in the tiered, three-level garden.",
-    "decoded_text": "Surrounding the property is a Versailles - inspired garden with a variety of trees, plants and an orchard. In the spring, over 12, 000 flowers bloom in the tiered, three - level garden.",
-    "diff": [
-      "insert    text[40:40] --> decoded_text[40:41]       '' --> ' '",
-      "insert    text[41:41] --> decoded_text[42:43]       '' --> ' '",
-      "insert    text[128:128] --> decoded_text[130:131]       '' --> ' '",
-      "insert    text[166:166] --> decoded_text[169:170]       '' --> ' '",
-      "insert    text[167:167] --> decoded_text[171:172]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "“We just went to the market yesterday, it’s private through Sotheby’s and we’ve already started to get calls,” says Frosch.",
-    "decoded_text": "“ We just went to the market yesterday, it ’ s private through Sotheby ’ s and we ’ ve already started to get calls, ” says Frosch.",
-    "diff": [
-      "insert    text[1:1] --> decoded_text[1:2]       '' --> ' '",
-      "insert    text[41:41] --> decoded_text[42:43]       '' --> ' '",
-      "insert    text[42:42] --> decoded_text[44:45]       '' --> ' '",
-      "insert    text[67:67] --> decoded_text[70:71]       '' --> ' '",
-      "insert    text[68:68] --> decoded_text[72:73]       '' --> ' '",
-      "insert    text[76:76] --> decoded_text[81:82]       '' --> ' '",
-      "insert    text[77:77] --> decoded_text[83:84]       '' --> ' '",
-      "insert    text[109:109] --> decoded_text[116:117]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Stay well hydrated—that means you should include about 48- 64 ounces of liquid (non-calorie) each day. You will be drinking small amounts (“sips”) every hour through the day since you will not be able to drink a large amount all at once.",
-    "decoded_text": "Stay well hydrated — that means you should include about 48 - 64 ounces of liquid ( non - calorie ) each day. You will be drinking small amounts ( “ sips ” ) every hour through the day since you will not be able to drink a large amount all at once.",
-    "diff": [
-      "insert    text[18:18] --> decoded_text[18:19]       '' --> ' '",
-      "insert    text[19:19] --> decoded_text[20:21]       '' --> ' '",
-      "insert    text[57:57] --> decoded_text[59:60]       '' --> ' '",
-      "replace   text[80:83] --> decoded_text[83:88]    'non' --> ' non '",
-      "replace   text[84:91] --> decoded_text[89:98] 'calorie' --> ' calorie '",
-      "insert    text[139:139] --> decoded_text[146:147]       '' --> ' '",
-      "insert    text[140:140] --> decoded_text[148:149]       '' --> ' '",
-      "insert    text[144:144] --> decoded_text[153:154]       '' --> ' '",
-      "insert    text[145:145] --> decoded_text[155:156]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "On Day Four after your surgery, begin adding liquid protein during this Phase (20 to 30 grams per day). That means you should buy a protein powder suggested by your dietitian, doctor or nurse. We recommend:",
-    "decoded_text": "On Day Four after your surgery, begin adding liquid protein during this Phase ( 20 to 30 grams per day ). That means you should buy a protein powder suggested by your dietitian, doctor or nurse. We recommend :",
-    "diff": [
-      "insert    text[79:79] --> decoded_text[79:80]       '' --> ' '",
-      "insert    text[101:101] --> decoded_text[102:103]       '' --> ' '",
-      "insert    text[205:205] --> decoded_text[207:208]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Unjury (20grams of whey protein isolate per packet) once a day (available at our office or www.UNJURY.com or 800-517-5111",
-    "decoded_text": "Unjury ( 20grams of whey protein isolate per packet ) once a day ( available at our office or www. UNJURY. com or 800 - 517 - 5111",
-    "diff": [
-      "insert    text[8:8] --> decoded_text[8:9]       '' --> ' '",
-      "insert    text[50:50] --> decoded_text[51:52]       '' --> ' '",
-      "insert    text[64:64] --> decoded_text[66:67]       '' --> ' '",
-      "insert    text[95:95] --> decoded_text[98:99]       '' --> ' '",
-      "insert    text[102:102] --> decoded_text[106:107]       '' --> ' '",
-      "insert    text[112:112] --> decoded_text[117:118]       '' --> ' '",
-      "insert    text[113:113] --> decoded_text[119:120]       '' --> ' '",
-      "insert    text[116:116] --> decoded_text[123:124]       '' --> ' '",
-      "insert    text[117:117] --> decoded_text[125:126]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Review protein sources: meats, chicken, turkey, eggs, cheese, low fat milk, yogurt, tofu, soy beans, other legumes (beans)",
-    "decoded_text": "Review protein sources : meats, chicken, turkey, eggs, cheese, low fat milk, yogurt, tofu, soy beans, other legumes ( beans )",
-    "diff": [
-      "insert    text[22:22] --> decoded_text[22:23]       '' --> ' '",
-      "insert    text[116:116] --> decoded_text[117:118]       '' --> ' '",
-      "insert    text[121:121] --> decoded_text[123:124]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "For extra protein add powdered milk (1/4 c) to your 1 cup of skim milk (this give about 18 grams of protein)",
-    "decoded_text": "For extra protein add powdered milk ( 1 / 4 c ) to your 1 cup of skim milk ( this give about 18 grams of protein )",
-    "diff": [
-      "insert    text[37:37] --> decoded_text[37:38]       '' --> ' '",
-      "insert    text[38:38] --> decoded_text[39:40]       '' --> ' '",
-      "insert    text[39:39] --> decoded_text[41:42]       '' --> ' '",
-      "insert    text[42:42] --> decoded_text[45:46]       '' --> ' '",
-      "insert    text[72:72] --> decoded_text[76:77]       '' --> ' '",
-      "insert    text[107:107] --> decoded_text[112:113]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "Belmont Estate is on the market for $63 million and boasts roughly 22,000 square feet of luxurious finishes and elaborate architecture on 1.28 acres. Listed on Thursday, the home is being sold by high-end real estate firm Sotheby’s International Realty Canada.",
+    "decoded_text": "Belmont Estate is on the market for $ 63 million and boasts roughly 22, 000 square feet of luxurious finishes and elaborate architecture on 1. 28 acres. Listed on Thursday, the home is being sold by high - end real estate firm Sotheby ’ s International Realty Canada.",
+    "diff": [
+      "insert    text[37:37] --> decoded_text[37:38]       '' --> ' '",
+      "insert    text[70:70] --> decoded_text[71:72]       '' --> ' '",
+      "insert    text[140:140] --> decoded_text[142:143]       '' --> ' '",
+      "insert    text[200:200] --> decoded_text[203:204]       '' --> ' '",
+      "insert    text[201:201] --> decoded_text[205:206]       '' --> ' '",
+      "insert    text[229:229] --> decoded_text[234:235]       '' --> ' '",
+      "insert    text[230:230] --> decoded_text[236:237]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "“Within the city we’ve had homes that have sold for $56 million, $33 million, $31 million but this will be the record of the offering price,” listing agent Christa Frosch of Sotheby’s tells BuzzBuzzNews.",
+    "decoded_text": "“ Within the city we ’ ve had homes that have sold for $ 56 million, $ 33 million, $ 31 million but this will be the record of the offering price, ” listing agent Christa Frosch of Sotheby ’ s tells BuzzBuzzNews.",
+    "diff": [
+      "insert    text[1:1] --> decoded_text[1:2]       '' --> ' '",
+      "insert    text[19:19] --> decoded_text[20:21]       '' --> ' '",
+      "insert    text[20:20] --> decoded_text[22:23]       '' --> ' '",
+      "insert    text[53:53] --> decoded_text[56:57]       '' --> ' '",
+      "insert    text[66:66] --> decoded_text[70:71]       '' --> ' '",
+      "insert    text[79:79] --> decoded_text[84:85]       '' --> ' '",
+      "insert    text[140:140] --> decoded_text[146:147]       '' --> ' '",
+      "insert    text[181:181] --> decoded_text[188:189]       '' --> ' '",
+      "insert    text[182:182] --> decoded_text[190:191]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "The three-storey home has five bedrooms, twelve bathrooms and an elevator in the west wing. Built to entertain, two main gallery halls can seat up to 100 guests. The Italian-inspired kitchen includes a fireplace and walls and ceilings throughout the home feature murals and artwork. Lavish amenities include an indoor pool and sauna, a six-car garage and a private entrance in-law’s suite.",
+    "decoded_text": "The three - storey home has five bedrooms, twelve bathrooms and an elevator in the west wing. Built to entertain, two main gallery halls can seat up to 100 guests. The Italian - inspired kitchen includes a fireplace and walls and ceilings throughout the home feature murals and artwork. Lavish amenities include an indoor pool and sauna, a six - car garage and a private entrance in - law ’ s suite.",
+    "diff": [
+      "insert    text[9:9] --> decoded_text[9:10]       '' --> ' '",
+      "insert    text[10:10] --> decoded_text[11:12]       '' --> ' '",
+      "insert    text[173:173] --> decoded_text[175:176]       '' --> ' '",
+      "insert    text[174:174] --> decoded_text[177:178]       '' --> ' '",
+      "insert    text[339:339] --> decoded_text[343:344]       '' --> ' '",
+      "replace   text[340:376] --> decoded_text[345:383] 'car garage and a private entrance in' --> ' car garage and a private entrance in '",
+      "replace   text[377:380] --> decoded_text[384:389]    'law' --> ' law '",
+      "insert    text[381:381] --> decoded_text[390:391]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Surrounding the property is a Versailles-inspired garden with a variety of trees, plants and an orchard. In the spring, over 12,000 flowers bloom in the tiered, three-level garden.",
+    "decoded_text": "Surrounding the property is a Versailles - inspired garden with a variety of trees, plants and an orchard. In the spring, over 12, 000 flowers bloom in the tiered, three - level garden.",
+    "diff": [
+      "insert    text[40:40] --> decoded_text[40:41]       '' --> ' '",
+      "insert    text[41:41] --> decoded_text[42:43]       '' --> ' '",
+      "insert    text[128:128] --> decoded_text[130:131]       '' --> ' '",
+      "insert    text[166:166] --> decoded_text[169:170]       '' --> ' '",
+      "insert    text[167:167] --> decoded_text[171:172]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "“We just went to the market yesterday, it’s private through Sotheby’s and we’ve already started to get calls,” says Frosch.",
+    "decoded_text": "“ We just went to the market yesterday, it ’ s private through Sotheby ’ s and we ’ ve already started to get calls, ” says Frosch.",
+    "diff": [
+      "insert    text[1:1] --> decoded_text[1:2]       '' --> ' '",
+      "insert    text[41:41] --> decoded_text[42:43]       '' --> ' '",
+      "insert    text[42:42] --> decoded_text[44:45]       '' --> ' '",
+      "insert    text[67:67] --> decoded_text[70:71]       '' --> ' '",
+      "insert    text[68:68] --> decoded_text[72:73]       '' --> ' '",
+      "insert    text[76:76] --> decoded_text[81:82]       '' --> ' '",
+      "insert    text[77:77] --> decoded_text[83:84]       '' --> ' '",
+      "insert    text[109:109] --> decoded_text[116:117]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Stay well hydrated—that means you should include about 48- 64 ounces of liquid (non-calorie) each day. You will be drinking small amounts (“sips”) every hour through the day since you will not be able to drink a large amount all at once.",
+    "decoded_text": "Stay well hydrated — that means you should include about 48 - 64 ounces of liquid ( non - calorie ) each day. You will be drinking small amounts ( “ sips ” ) every hour through the day since you will not be able to drink a large amount all at once.",
+    "diff": [
+      "insert    text[18:18] --> decoded_text[18:19]       '' --> ' '",
+      "insert    text[19:19] --> decoded_text[20:21]       '' --> ' '",
+      "insert    text[57:57] --> decoded_text[59:60]       '' --> ' '",
+      "replace   text[80:83] --> decoded_text[83:88]    'non' --> ' non '",
+      "replace   text[84:91] --> decoded_text[89:98] 'calorie' --> ' calorie '",
+      "insert    text[139:139] --> decoded_text[146:147]       '' --> ' '",
+      "insert    text[140:140] --> decoded_text[148:149]       '' --> ' '",
+      "insert    text[144:144] --> decoded_text[153:154]       '' --> ' '",
+      "insert    text[145:145] --> decoded_text[155:156]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "On Day Four after your surgery, begin adding liquid protein during this Phase (20 to 30 grams per day). That means you should buy a protein powder suggested by your dietitian, doctor or nurse. We recommend:",
+    "decoded_text": "On Day Four after your surgery, begin adding liquid protein during this Phase ( 20 to 30 grams per day ). That means you should buy a protein powder suggested by your dietitian, doctor or nurse. We recommend :",
+    "diff": [
+      "insert    text[79:79] --> decoded_text[79:80]       '' --> ' '",
+      "insert    text[101:101] --> decoded_text[102:103]       '' --> ' '",
+      "insert    text[205:205] --> decoded_text[207:208]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Unjury (20grams of whey protein isolate per packet) once a day (available at our office or www.UNJURY.com or 800-517-5111",
+    "decoded_text": "Unjury ( 20grams of whey protein isolate per packet ) once a day ( available at our office or www. UNJURY. com or 800 - 517 - 5111",
+    "diff": [
+      "insert    text[8:8] --> decoded_text[8:9]       '' --> ' '",
+      "insert    text[50:50] --> decoded_text[51:52]       '' --> ' '",
+      "insert    text[64:64] --> decoded_text[66:67]       '' --> ' '",
+      "insert    text[95:95] --> decoded_text[98:99]       '' --> ' '",
+      "insert    text[102:102] --> decoded_text[106:107]       '' --> ' '",
+      "insert    text[112:112] --> decoded_text[117:118]       '' --> ' '",
+      "insert    text[113:113] --> decoded_text[119:120]       '' --> ' '",
+      "insert    text[116:116] --> decoded_text[123:124]       '' --> ' '",
+      "insert    text[117:117] --> decoded_text[125:126]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Review protein sources: meats, chicken, turkey, eggs, cheese, low fat milk, yogurt, tofu, soy beans, other legumes (beans)",
+    "decoded_text": "Review protein sources : meats, chicken, turkey, eggs, cheese, low fat milk, yogurt, tofu, soy beans, other legumes ( beans )",
+    "diff": [
+      "insert    text[22:22] --> decoded_text[22:23]       '' --> ' '",
+      "insert    text[116:116] --> decoded_text[117:118]       '' --> ' '",
+      "insert    text[121:121] --> decoded_text[123:124]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "For extra protein add powdered milk (1/4 c) to your 1 cup of skim milk (this give about 18 grams of protein)",
+    "decoded_text": "For extra protein add powdered milk ( 1 / 4 c ) to your 1 cup of skim milk ( this give about 18 grams of protein )",
+    "diff": [
+      "insert    text[37:37] --> decoded_text[37:38]       '' --> ' '",
+      "insert    text[38:38] --> decoded_text[39:40]       '' --> ' '",
+      "insert    text[39:39] --> decoded_text[41:42]       '' --> ' '",
+      "insert    text[42:42] --> decoded_text[45:46]       '' --> ' '",
+      "insert    text[72:72] --> decoded_text[76:77]       '' --> ' '",
+      "insert    text[107:107] --> decoded_text[112:113]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/google.switch-c-2048 @ cc100.es.diff.json

@@ -1,105 +1,105 @@
-[
-  {
-    "text": "\"Se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"Los Sanguinarios del Norte Chico\" dedicados a la extorsión, robo, sicariato, tráfico ilícito de drogas.\", explicó Medina.",
-    "decoded_text": "\"Se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"Los Sanguinarios del Norte Chico\" dedicados a la extorsión, robo, sicariato, tráfico il<unk>cito de drogas.\", explicó Medina.",
-    "diff": [
-      "replace   text[190:191] --> decoded_text[190:195]      'í' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.004464285714285714,
-    "oov_charset": "[\"í\"]"
-  },
-  {
-    "text": "En este megaoperativo han participado 800 agentes de la Policia Nacional del Peru y 85 fiscales, quienes se han desplazado en 130 vehículos. Asimismo, e los 47 detenidos, 10 son mujeres.",
-    "decoded_text": "En este megaoperativo han participado 800 agentes de la Policia Nacional del Peru y 85 fiscales, quienes se han desplazado en 130 veh<unk>culos. Asimismo, e los 47 detenidos, 10 son mujeres.",
-    "diff": [
-      "replace   text[133:134] --> decoded_text[133:138]      'í' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.005376344086021506,
-    "oov_charset": "[\"í\"]"
-  },
-  {
-    "text": "1. El período de vacaciones anuales retribuidas, no sustituible",
-    "decoded_text": "1. El per<unk>odo de vacaciones anuales retribuidas, no sustituible",
-    "diff": [
-      "replace   text[9:10] --> decoded_text[9:14]      'í' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.015873015873015872,
-    "oov_charset": "[\"í\"]"
-  },
-  {
-    "text": "2. El período o períodos de su disfrute se fijará de común",
-    "decoded_text": "2. El per<unk>odo o per<unk>odos de su disfrute se fijará de com<unk>n",
-    "diff": [
-      "replace   text[9:10] --> decoded_text[9:14]      'í' --> '<unk>'",
-      "replace   text[19:20] --> decoded_text[23:28]      'í' --> '<unk>'",
-      "replace   text[56:57] --> decoded_text[64:66]      'ú' --> '<u'",
-      "insert    text[58:58] --> decoded_text[67:70]       '' --> 'k>n'"
-    ],
-    "n_oov_chars": 3,
-    "oov_ratio": 0.05172413793103448,
-    "oov_charset": "[\"í\", \"ú\"]"
-  },
-  {
-    "text": "determinados artículos del Estatuto de los Trabajadores,",
-    "decoded_text": "determinados art<unk>culos del Estatuto de los Trabajadores,",
-    "diff": [
-      "replace   text[16:17] --> decoded_text[16:21]      'í' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.017857142857142856,
-    "oov_charset": "[\"í\"]"
-  },
-  {
-    "text": "Cuando el período de vacaciones fijado en el calendario de",
-    "decoded_text": "Cuando el per<unk>odo de vacaciones fijado en el calendario de",
-    "diff": [
-      "replace   text[13:14] --> decoded_text[13:18]      'í' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.017241379310344827,
-    "oov_charset": "[\"í\"]"
-  },
-  {
-    "text": "del embarazo, el parto o la lactancia natural o con el período de",
-    "decoded_text": "del embarazo, el parto o la lactancia natural o con el per<unk>odo de",
-    "diff": [
-      "replace   text[58:59] --> decoded_text[58:63]      'í' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.015384615384615385,
-    "oov_charset": "[\"í\"]"
-  },
-  {
-    "text": "suspensión del contrato de trabajo previsto en el artículo 48.4",
-    "decoded_text": "suspensión del contrato de trabajo previsto en el art<unk>culo 48.4",
-    "diff": [
-      "replace   text[53:54] --> decoded_text[53:58]      'í' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.015873015873015872,
-    "oov_charset": "[\"í\"]"
-  },
-  {
-    "text": "al finalizar el período de suspensión, aunque haya terminado",
-    "decoded_text": "al finalizar el per<unk>odo de suspensión, aunque haya terminado",
-    "diff": [
-      "replace   text[19:20] --> decoded_text[19:24]      'í' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.016666666666666666,
-    "oov_charset": "[\"í\"]"
-  },
-  {
-    "text": "el año natural a que correspondan.",
-    "decoded_text": "el a<unk>o natural a que correspondan.",
-    "diff": [
-      "replace   text[4:5] --> decoded_text[4:9]      'ñ' --> '<unk>'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.029411764705882353,
-    "oov_charset": "[\"ñ\"]"
-  }
+[
+  {
+    "text": "\"Se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"Los Sanguinarios del Norte Chico\" dedicados a la extorsión, robo, sicariato, tráfico ilícito de drogas.\", explicó Medina.",
+    "decoded_text": "\"Se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"Los Sanguinarios del Norte Chico\" dedicados a la extorsión, robo, sicariato, tráfico il<unk>cito de drogas.\", explicó Medina.",
+    "diff": [
+      "replace   text[190:191] --> decoded_text[190:195]      'í' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004464285714285714,
+    "oov_charset": "[\"í\"]"
+  },
+  {
+    "text": "En este megaoperativo han participado 800 agentes de la Policia Nacional del Peru y 85 fiscales, quienes se han desplazado en 130 vehículos. Asimismo, e los 47 detenidos, 10 son mujeres.",
+    "decoded_text": "En este megaoperativo han participado 800 agentes de la Policia Nacional del Peru y 85 fiscales, quienes se han desplazado en 130 veh<unk>culos. Asimismo, e los 47 detenidos, 10 son mujeres.",
+    "diff": [
+      "replace   text[133:134] --> decoded_text[133:138]      'í' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005376344086021506,
+    "oov_charset": "[\"í\"]"
+  },
+  {
+    "text": "1. El período de vacaciones anuales retribuidas, no sustituible",
+    "decoded_text": "1. El per<unk>odo de vacaciones anuales retribuidas, no sustituible",
+    "diff": [
+      "replace   text[9:10] --> decoded_text[9:14]      'í' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015873015873015872,
+    "oov_charset": "[\"í\"]"
+  },
+  {
+    "text": "2. El período o períodos de su disfrute se fijará de común",
+    "decoded_text": "2. El per<unk>odo o per<unk>odos de su disfrute se fijará de com<unk>n",
+    "diff": [
+      "replace   text[9:10] --> decoded_text[9:14]      'í' --> '<unk>'",
+      "replace   text[19:20] --> decoded_text[23:28]      'í' --> '<unk>'",
+      "replace   text[56:57] --> decoded_text[64:66]      'ú' --> '<u'",
+      "insert    text[58:58] --> decoded_text[67:70]       '' --> 'k>n'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.05172413793103448,
+    "oov_charset": "[\"í\", \"ú\"]"
+  },
+  {
+    "text": "determinados artículos del Estatuto de los Trabajadores,",
+    "decoded_text": "determinados art<unk>culos del Estatuto de los Trabajadores,",
+    "diff": [
+      "replace   text[16:17] --> decoded_text[16:21]      'í' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017857142857142856,
+    "oov_charset": "[\"í\"]"
+  },
+  {
+    "text": "Cuando el período de vacaciones fijado en el calendario de",
+    "decoded_text": "Cuando el per<unk>odo de vacaciones fijado en el calendario de",
+    "diff": [
+      "replace   text[13:14] --> decoded_text[13:18]      'í' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017241379310344827,
+    "oov_charset": "[\"í\"]"
+  },
+  {
+    "text": "del embarazo, el parto o la lactancia natural o con el período de",
+    "decoded_text": "del embarazo, el parto o la lactancia natural o con el per<unk>odo de",
+    "diff": [
+      "replace   text[58:59] --> decoded_text[58:63]      'í' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015384615384615385,
+    "oov_charset": "[\"í\"]"
+  },
+  {
+    "text": "suspensión del contrato de trabajo previsto en el artículo 48.4",
+    "decoded_text": "suspensión del contrato de trabajo previsto en el art<unk>culo 48.4",
+    "diff": [
+      "replace   text[53:54] --> decoded_text[53:58]      'í' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015873015873015872,
+    "oov_charset": "[\"í\"]"
+  },
+  {
+    "text": "al finalizar el período de suspensión, aunque haya terminado",
+    "decoded_text": "al finalizar el per<unk>odo de suspensión, aunque haya terminado",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:24]      'í' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016666666666666666,
+    "oov_charset": "[\"í\"]"
+  },
+  {
+    "text": "el año natural a que correspondan.",
+    "decoded_text": "el a<unk>o natural a que correspondan.",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:9]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"ñ\"]"
+  }
 ]

stats/compression_rate/gradientai.Llama-3-8B-Instruct-Gradient-1048k @ cc100.fr.diff.json

@@ -1,102 +1,102 @@
-[
-  {
-    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
-    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
-    "diff": [
-      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
-    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconnaître quand j'ai tort",
-    "diff": [
-      "delete    text[150:151] --> decoded_text[150:150]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non ?)",
-    "decoded_text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non?)",
-    "diff": [
-      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Vive la non-moutonnerie !!! mais je comprends ce que tu veux dire ^^",
-    "decoded_text": "Vive la non-moutonnerie!!! mais je comprends ce que tu veux dire ^^",
-    "diff": [
-      "delete    text[23:24] --> decoded_text[23:23]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime !\")",
-    "decoded_text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime!\")",
-    "diff": [
-      "delete    text[277:278] --> decoded_text[277:277]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Quand les élus se réunissent-ils ?",
-    "decoded_text": "Quand les élus se réunissent-ils?",
-    "diff": [
-      "delete    text[32:33] --> decoded_text[32:32]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- Dans la vie, quel est ton surnom ? Insérez votre réponse ici",
-    "decoded_text": "- Dans la vie, quel est ton surnom? Insérez votre réponse ici",
-    "diff": [
-      "delete    text[34:35] --> decoded_text[34:34]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not !!!",
-    "decoded_text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not!!!",
-    "diff": [
-      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "-Quelle est l’origine de ton pseudo ? c'est le nom d'un animal que j'ai inventé",
-    "decoded_text": "-Quelle est l’origine de ton pseudo? c'est le nom d'un animal que j'ai inventé",
-    "diff": [
-      "delete    text[35:36] --> decoded_text[35:35]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "-Quelle est ton humeur au moment de commencer ce test ? Heu...normal!",
-    "decoded_text": "-Quelle est ton humeur au moment de commencer ce test? Heu...normal!",
-    "diff": [
-      "delete    text[53:54] --> decoded_text[53:53]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
+    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
+    "diff": [
+      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
+    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconnaître quand j'ai tort",
+    "diff": [
+      "delete    text[150:151] --> decoded_text[150:150]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non ?)",
+    "decoded_text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non?)",
+    "diff": [
+      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Vive la non-moutonnerie !!! mais je comprends ce que tu veux dire ^^",
+    "decoded_text": "Vive la non-moutonnerie!!! mais je comprends ce que tu veux dire ^^",
+    "diff": [
+      "delete    text[23:24] --> decoded_text[23:23]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime !\")",
+    "decoded_text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime!\")",
+    "diff": [
+      "delete    text[277:278] --> decoded_text[277:277]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Quand les élus se réunissent-ils ?",
+    "decoded_text": "Quand les élus se réunissent-ils?",
+    "diff": [
+      "delete    text[32:33] --> decoded_text[32:32]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- Dans la vie, quel est ton surnom ? Insérez votre réponse ici",
+    "decoded_text": "- Dans la vie, quel est ton surnom? Insérez votre réponse ici",
+    "diff": [
+      "delete    text[34:35] --> decoded_text[34:34]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not !!!",
+    "decoded_text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not!!!",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Quelle est l’origine de ton pseudo ? c'est le nom d'un animal que j'ai inventé",
+    "decoded_text": "-Quelle est l’origine de ton pseudo? c'est le nom d'un animal que j'ai inventé",
+    "diff": [
+      "delete    text[35:36] --> decoded_text[35:35]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Quelle est ton humeur au moment de commencer ce test ? Heu...normal!",
+    "decoded_text": "-Quelle est ton humeur au moment de commencer ce test? Heu...normal!",
+    "diff": [
+      "delete    text[53:54] --> decoded_text[53:53]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/internlm.internlm-chat-7b @ cc100.en.diff.json

@@ -1,103 +1,103 @@
-[
-  {
-    "text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything , but he's not that bad tbh.",
-    "decoded_text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything, but he's not that bad tbh.",
-    "diff": [
-      "delete    text[86:87] --> decoded_text[86:86]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented .",
-    "decoded_text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented.",
-    "diff": [
-      "delete    text[318:319] --> decoded_text[318:318]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Soften the landing zones with a pair of Rubber Mats , made from dyed rubber chips, heat compressed and available in dark green or brick red.",
-    "decoded_text": "Soften the landing zones with a pair of Rubber Mats, made from dyed rubber chips, heat compressed and available in dark green or brick red.",
-    "diff": [
-      "delete    text[51:52] --> decoded_text[51:51]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "We're not so rough and over the top these days, so they miiiiight survive ._.",
-    "decoded_text": "We're not so rough and over the top these days, so they miiiiight survive._.",
-    "diff": [
-      "delete    text[73:74] --> decoded_text[73:73]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on ...",
-    "decoded_text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on...",
-    "diff": [
-      "replace   text[476:480] --> decoded_text[476:479]   ' ...' --> '...'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on ...",
-    "decoded_text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on...",
-    "diff": [
-      "replace   text[466:470] --> decoded_text[466:469]   ' ...' --> '...'"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "I have also read The Shore ,Alex, yes I agree its very good, maybe a chance. The last years I have just waited to last in the year to see who the genral public have been siding and gone for that, from a collectors point of view, it would be nice if something won which did not have a 100,000 in the first print run.",
-    "decoded_text": "I have also read The Shore,Alex, yes I agree its very good, maybe a chance. The last years I have just waited to last in the year to see who the genral public have been siding and gone for that, from a collectors point of view, it would be nice if something won which did not have a 100,000 in the first print run.",
-    "diff": [
-      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Moving to K-W can be confusing for anybody: how can you explain King Street, that runs north, south, east and west ?! Or streets like King and Weber, that are sometimes parallel, and yet cross each other in two places ? For someone new to the country, adjusting to life here can be even much more confusing.",
-    "decoded_text": "Moving to K-W can be confusing for anybody: how can you explain King Street, that runs north, south, east and west?! Or streets like King and Weber, that are sometimes parallel, and yet cross each other in two places? For someone new to the country, adjusting to life here can be even much more confusing.",
-    "diff": [
-      "delete    text[114:115] --> decoded_text[114:114]      ' ' --> ''",
-      "delete    text[217:218] --> decoded_text[216:216]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Just in case you are getting the impression that it’s all work and no fun, let me remind you of the Multicultural Festival, which is held every year at Victoria Park during the Canada Day (July 1) weekend. For two fun-filled days, the whole family can enjoy crafts, traditional dancing and especially foods from around the world ! This event is something Kitchener-Waterloo always looks forward to.",
-    "decoded_text": "Just in case you are getting the impression that it’s all work and no fun, let me remind you of the Multicultural Festival, which is held every year at Victoria Park during the Canada Day (July 1) weekend. For two fun-filled days, the whole family can enjoy crafts, traditional dancing and especially foods from around the world! This event is something Kitchener-Waterloo always looks forward to.",
-    "diff": [
-      "delete    text[328:329] --> decoded_text[328:328]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Centralized vacuum system can be used to clean production lines, floors and installations during or ..",
-    "decoded_text": "Centralized vacuum system can be used to clean production lines, floors and installations during or..",
-    "diff": [
-      "delete    text[99:100] --> decoded_text[99:99]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything , but he's not that bad tbh.",
+    "decoded_text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything, but he's not that bad tbh.",
+    "diff": [
+      "delete    text[86:87] --> decoded_text[86:86]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented .",
+    "decoded_text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented.",
+    "diff": [
+      "delete    text[318:319] --> decoded_text[318:318]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Soften the landing zones with a pair of Rubber Mats , made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "decoded_text": "Soften the landing zones with a pair of Rubber Mats, made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "diff": [
+      "delete    text[51:52] --> decoded_text[51:51]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "We're not so rough and over the top these days, so they miiiiight survive ._.",
+    "decoded_text": "We're not so rough and over the top these days, so they miiiiight survive._.",
+    "diff": [
+      "delete    text[73:74] --> decoded_text[73:73]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on ...",
+    "decoded_text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on...",
+    "diff": [
+      "replace   text[476:480] --> decoded_text[476:479]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on ...",
+    "decoded_text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on...",
+    "diff": [
+      "replace   text[466:470] --> decoded_text[466:469]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "I have also read The Shore ,Alex, yes I agree its very good, maybe a chance. The last years I have just waited to last in the year to see who the genral public have been siding and gone for that, from a collectors point of view, it would be nice if something won which did not have a 100,000 in the first print run.",
+    "decoded_text": "I have also read The Shore,Alex, yes I agree its very good, maybe a chance. The last years I have just waited to last in the year to see who the genral public have been siding and gone for that, from a collectors point of view, it would be nice if something won which did not have a 100,000 in the first print run.",
+    "diff": [
+      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Moving to K-W can be confusing for anybody: how can you explain King Street, that runs north, south, east and west ?! Or streets like King and Weber, that are sometimes parallel, and yet cross each other in two places ? For someone new to the country, adjusting to life here can be even much more confusing.",
+    "decoded_text": "Moving to K-W can be confusing for anybody: how can you explain King Street, that runs north, south, east and west?! Or streets like King and Weber, that are sometimes parallel, and yet cross each other in two places? For someone new to the country, adjusting to life here can be even much more confusing.",
+    "diff": [
+      "delete    text[114:115] --> decoded_text[114:114]      ' ' --> ''",
+      "delete    text[217:218] --> decoded_text[216:216]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Just in case you are getting the impression that it’s all work and no fun, let me remind you of the Multicultural Festival, which is held every year at Victoria Park during the Canada Day (July 1) weekend. For two fun-filled days, the whole family can enjoy crafts, traditional dancing and especially foods from around the world ! This event is something Kitchener-Waterloo always looks forward to.",
+    "decoded_text": "Just in case you are getting the impression that it’s all work and no fun, let me remind you of the Multicultural Festival, which is held every year at Victoria Park during the Canada Day (July 1) weekend. For two fun-filled days, the whole family can enjoy crafts, traditional dancing and especially foods from around the world! This event is something Kitchener-Waterloo always looks forward to.",
+    "diff": [
+      "delete    text[328:329] --> decoded_text[328:328]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Centralized vacuum system can be used to clean production lines, floors and installations during or ..",
+    "decoded_text": "Centralized vacuum system can be used to clean production lines, floors and installations during or..",
+    "diff": [
+      "delete    text[99:100] --> decoded_text[99:99]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/microsoft.phi-2 @ cc100.zh-Hans.diff.json

@@ -1,102 +1,102 @@
-[
-  {
-    "text": "佩奇大学健康科学学院在Kaposvár（高波什瓦尔）, Pécs（佩奇）, Szombathely（松博特海伊） ,Zalaegerszeg （扎洛埃格塞格） 有四所地区培训中心。这些培训中心都与当地的医院和社会机构保持着良好的关系。我院在健康科学领域是匈牙利提供专业数量最多，教师数量最多和校园数量最多的教育机构。",
-    "decoded_text": "佩奇大学健康科学学院在Kaposvár（高波什瓦尔）, Pécs（佩奇）, Szombathely（松博特海伊）,Zalaegerszeg （扎洛埃格塞格） 有四所地区培训中心。这些培训中心都与当地的医院和社会机构保持着良好的关系。我院在健康科学领域是匈牙利提供专业数量最多，教师数量最多和校园数量最多的教育机构。",
-    "diff": [
-      "delete    text[56:57] --> decoded_text[56:56]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "支持和 虚拟机，以及 7 . / 和的屏幕截图，在三个不同的分区中有三个文档.最大的问题之一是硬件支持可能很棘手。 我参加过一些冷酷黑暗的联赛。",
-    "decoded_text": "支持和 虚拟机，以及 7. / 和的屏幕截图，在三个不同的分区中有三个文档.最大的问题之一是硬件支持可能很棘手。 我参加过一些冷酷黑暗的联赛。",
-    "diff": [
-      "delete    text[12:13] --> decoded_text[12:12]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "他指责执法部门和 其他政府机构调查他与俄罗斯的关系，作为参与党派恐怖袭击的深刻的国家阴谋，他经常对媒体愤怒作为敌人。尽管瑞士化学公司与法国建筑材料公司-达成协议以结束长期存在的法律纠纷，但 .的股价在指数水平上走势平稳，股价上涨8.7％至的顶部。",
-    "decoded_text": "他指责执法部门和 其他政府机构调查他与俄罗斯的关系，作为参与党派恐怖袭击的深刻的国家阴谋，他经常对媒体愤怒作为敌人。尽管瑞士化学公司与法国建筑材料公司-达成协议以结束长期存在的法律纠纷，但.的股价在指数水平上走势平稳，股价上涨8.7％至的顶部。",
-    "diff": [
-      "delete    text[94:95] --> decoded_text[94:94]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "简介：上期，本报《快乐老年》版推出了暑假期间老人“上岗”带娃的报道，不同老人有不同的带娃方式。有的老人深感带娃是一种甜蜜的负担。确实，现在孩子的教育问题越来越受到重视，很多老人与时俱进，吸收了好的育儿理念。 ...",
-    "decoded_text": "简介：上期，本报《快乐老年》版推出了暑假期间老人“上岗”带娃的报道，不同老人有不同的带娃方式。有的老人深感带娃是一种甜蜜的负担。确实，现在孩子的教育问题越来越受到重视，很多老人与时俱进，吸收了好的育儿理念。...",
-    "diff": [
-      "delete    text[103:104] --> decoded_text[103:103]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "导演：安德鲁・麦卡锡,玛吉・基莉 ,迈克・卡希尔,马克・托德莱",
-    "decoded_text": "导演：安德鲁・麦卡锡,玛吉・基莉,迈克・卡希尔,马克・托德莱",
-    "diff": [
-      "delete    text[16:17] --> decoded_text[16:16]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "龙茫接过来，他知道是什么，可是现在看不到任何东西的他拿着这些东西真的有用吗？全球华人的自由讨论天地 4 ~5 ?0 G' R5 f2 b) G. v",
-    "decoded_text": "龙茫接过来，他知道是什么，可是现在看不到任何东西的他拿着这些东西真的有用吗？全球华人的自由讨论天地 4 ~5?0 G' R5 f2 b) G. v",
-    "diff": [
-      "delete    text[54:55] --> decoded_text[54:54]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "如果在没有失明之前，他很可能能够看到写在手心上的字，但现在是完全看不到了，他只能感到手指在他的手心上不停地划来划去，却不知道写了什么上去。全球华人的自由讨论天地 ! _& N. f/ x6 @/ x2 v; \\\\6 I' Y6 q3 _",
-    "decoded_text": "如果在没有失明之前，他很可能能够看到写在手心上的字，但现在是完全看不到了，他只能感到手指在他的手心上不停地划来划去，却不知道写了什么上去。全球华人的自由讨论天地! _& N. f/ x6 @/ x2 v; \\\\6 I' Y6 q3 _",
-    "diff": [
-      "delete    text[80:81] --> decoded_text[80:80]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "是啊，对于一个刚刚恢复光明的人来说是多么想出去走走，看看这个世界啊！华人论坛0 [ b- q4 B b' [5 W7 ?$ K! M",
-    "decoded_text": "是啊，对于一个刚刚恢复光明的人来说是多么想出去走走，看看这个世界啊！华人论坛0 [ b- q4 B b' [5 W7?$ K! M",
-    "diff": [
-      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": ". ?. h& r( A8 u1 ]# L　如果是邻居的话也用不着给我发这么一条短信吧？我记得妈说过我7岁时就搬走了，那么说我还有跟他联系吗？可是为什么那个女人会叫我郭水？",
-    "decoded_text": ".?. h& r( A8 u1 ]# L　如果是邻居的话也用不着给我发这么一条短信吧？我记得妈说过我7岁时就搬走了，那么说我还有跟他联系吗？可是为什么那个女人会叫我郭水？",
-    "diff": [
-      "delete    text[1:2] --> decoded_text[1:1]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "8 d7 G! M B+ X9 l/ k\" {6 ?- cbb.a4.79ae.static.theplanet.com　“算了，都过去了，你就不要再问了。”蒋成说话的声音有些奇怪，好像很恐惧一样，龙茫看到他的表情似乎很紧张。",
-    "decoded_text": "8 d7 G! M B+ X9 l/ k\" {6?- cbb.a4.79ae.static.theplanet.com　“算了，都过去了，你就不要再问了。”蒋成说话的声音有些奇怪，好像很恐惧一样，龙茫看到他的表情似乎很紧张。",
-    "diff": [
-      "delete    text[24:25] --> decoded_text[24:24]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "佩奇大学健康科学学院在Kaposvár（高波什瓦尔）, Pécs（佩奇）, Szombathely（松博特海伊） ,Zalaegerszeg （扎洛埃格塞格） 有四所地区培训中心。这些培训中心都与当地的医院和社会机构保持着良好的关系。我院在健康科学领域是匈牙利提供专业数量最多，教师数量最多和校园数量最多的教育机构。",
+    "decoded_text": "佩奇大学健康科学学院在Kaposvár（高波什瓦尔）, Pécs（佩奇）, Szombathely（松博特海伊）,Zalaegerszeg （扎洛埃格塞格） 有四所地区培训中心。这些培训中心都与当地的医院和社会机构保持着良好的关系。我院在健康科学领域是匈牙利提供专业数量最多，教师数量最多和校园数量最多的教育机构。",
+    "diff": [
+      "delete    text[56:57] --> decoded_text[56:56]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "支持和 虚拟机，以及 7 . / 和的屏幕截图，在三个不同的分区中有三个文档.最大的问题之一是硬件支持可能很棘手。 我参加过一些冷酷黑暗的联赛。",
+    "decoded_text": "支持和 虚拟机，以及 7. / 和的屏幕截图，在三个不同的分区中有三个文档.最大的问题之一是硬件支持可能很棘手。 我参加过一些冷酷黑暗的联赛。",
+    "diff": [
+      "delete    text[12:13] --> decoded_text[12:12]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "他指责执法部门和 其他政府机构调查他与俄罗斯的关系，作为参与党派恐怖袭击的深刻的国家阴谋，他经常对媒体愤怒作为敌人。尽管瑞士化学公司与法国建筑材料公司-达成协议以结束长期存在的法律纠纷，但 .的股价在指数水平上走势平稳，股价上涨8.7％至的顶部。",
+    "decoded_text": "他指责执法部门和 其他政府机构调查他与俄罗斯的关系，作为参与党派恐怖袭击的深刻的国家阴谋，他经常对媒体愤怒作为敌人。尽管瑞士化学公司与法国建筑材料公司-达成协议以结束长期存在的法律纠纷，但.的股价在指数水平上走势平稳，股价上涨8.7％至的顶部。",
+    "diff": [
+      "delete    text[94:95] --> decoded_text[94:94]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "简介：上期，本报《快乐老年》版推出了暑假期间老人“上岗”带娃的报道，不同老人有不同的带娃方式。有的老人深感带娃是一种甜蜜的负担。确实，现在孩子的教育问题越来越受到重视，很多老人与时俱进，吸收了好的育儿理念。 ...",
+    "decoded_text": "简介：上期，本报《快乐老年》版推出了暑假期间老人“上岗”带娃的报道，不同老人有不同的带娃方式。有的老人深感带娃是一种甜蜜的负担。确实，现在孩子的教育问题越来越受到重视，很多老人与时俱进，吸收了好的育儿理念。...",
+    "diff": [
+      "delete    text[103:104] --> decoded_text[103:103]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "导演：安德鲁・麦卡锡,玛吉・基莉 ,迈克・卡希尔,马克・托德莱",
+    "decoded_text": "导演：安德鲁・麦卡锡,玛吉・基莉,迈克・卡希尔,马克・托德莱",
+    "diff": [
+      "delete    text[16:17] --> decoded_text[16:16]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "龙茫接过来，他知道是什么，可是现在看不到任何东西的他拿着这些东西真的有用吗？全球华人的自由讨论天地 4 ~5 ?0 G' R5 f2 b) G. v",
+    "decoded_text": "龙茫接过来，他知道是什么，可是现在看不到任何东西的他拿着这些东西真的有用吗？全球华人的自由讨论天地 4 ~5?0 G' R5 f2 b) G. v",
+    "diff": [
+      "delete    text[54:55] --> decoded_text[54:54]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "如果在没有失明之前，他很可能能够看到写在手心上的字，但现在是完全看不到了，他只能感到手指在他的手心上不停地划来划去，却不知道写了什么上去。全球华人的自由讨论天地 ! _& N. f/ x6 @/ x2 v; \\\\6 I' Y6 q3 _",
+    "decoded_text": "如果在没有失明之前，他很可能能够看到写在手心上的字，但现在是完全看不到了，他只能感到手指在他的手心上不停地划来划去，却不知道写了什么上去。全球华人的自由讨论天地! _& N. f/ x6 @/ x2 v; \\\\6 I' Y6 q3 _",
+    "diff": [
+      "delete    text[80:81] --> decoded_text[80:80]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "是啊，对于一个刚刚恢复光明的人来说是多么想出去走走，看看这个世界啊！华人论坛0 [ b- q4 B b' [5 W7 ?$ K! M",
+    "decoded_text": "是啊，对于一个刚刚恢复光明的人来说是多么想出去走走，看看这个世界啊！华人论坛0 [ b- q4 B b' [5 W7?$ K! M",
+    "diff": [
+      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": ". ?. h& r( A8 u1 ]# L　如果是邻居的话也用不着给我发这么一条短信吧？我记得妈说过我7岁时就搬走了，那么说我还有跟他联系吗？可是为什么那个女人会叫我郭水？",
+    "decoded_text": ".?. h& r( A8 u1 ]# L　如果是邻居的话也用不着给我发这么一条短信吧？我记得妈说过我7岁时就搬走了，那么说我还有跟他联系吗？可是为什么那个女人会叫我郭水？",
+    "diff": [
+      "delete    text[1:2] --> decoded_text[1:1]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "8 d7 G! M B+ X9 l/ k\" {6 ?- cbb.a4.79ae.static.theplanet.com　“算了，都过去了，你就不要再问了。”蒋成说话的声音有些奇怪，好像很恐惧一样，龙茫看到他的表情似乎很紧张。",
+    "decoded_text": "8 d7 G! M B+ X9 l/ k\" {6?- cbb.a4.79ae.static.theplanet.com　“算了，都过去了，你就不要再问了。”蒋成说话的声音有些奇怪，好像很恐惧一样，龙茫看到他的表情似乎很紧张。",
+    "diff": [
+      "delete    text[24:25] --> decoded_text[24:24]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

stats/compression_rate/paust.pko-t5-large @ cc100.fr.diff.json

@@ -1,102 +1,102 @@
-[
-  {
-    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
-    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
-    "diff": [
-      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
-    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconnaître quand j'ai tort",
-    "diff": [
-      "delete    text[150:151] --> decoded_text[150:150]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non ?)",
-    "decoded_text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non?)",
-    "diff": [
-      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Vive la non-moutonnerie !!! mais je comprends ce que tu veux dire ^^",
-    "decoded_text": "Vive la non-moutonnerie!!! mais je comprends ce que tu veux dire ^^",
-    "diff": [
-      "delete    text[23:24] --> decoded_text[23:23]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime !\")",
-    "decoded_text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime!\")",
-    "diff": [
-      "delete    text[277:278] --> decoded_text[277:277]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Quand les élus se réunissent-ils ?",
-    "decoded_text": "Quand les élus se réunissent-ils?",
-    "diff": [
-      "delete    text[32:33] --> decoded_text[32:32]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- Dans la vie, quel est ton surnom ? Insérez votre réponse ici",
-    "decoded_text": "- Dans la vie, quel est ton surnom? Insérez votre réponse ici",
-    "diff": [
-      "delete    text[34:35] --> decoded_text[34:34]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "- Si tu étais une couleur, tu serais… Insérez votre réponse ici",
-    "decoded_text": "- Si tu étais une couleur, tu serais... Insérez votre réponse ici",
-    "diff": [
-      "replace   text[36:37] --> decoded_text[36:39]      '…' --> '...'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.015873015873015872,
-    "oov_charset": "[\"…\"]"
-  },
-  {
-    "text": "- Si tu étais une plante, tu serais… Insérez votre réponse ici",
-    "decoded_text": "- Si tu étais une plante, tu serais... Insérez votre réponse ici",
-    "diff": [
-      "replace   text[35:36] --> decoded_text[35:38]      '…' --> '...'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.016129032258064516,
-    "oov_charset": "[\"…\"]"
-  },
-  {
-    "text": "- Si tu étais un aliment, tu serais… Insérez votre réponse ici",
-    "decoded_text": "- Si tu étais un aliment, tu serais... Insérez votre réponse ici",
-    "diff": [
-      "replace   text[35:36] --> decoded_text[35:38]      '…' --> '...'"
-    ],
-    "n_oov_chars": 1,
-    "oov_ratio": 0.016129032258064516,
-    "oov_charset": "[\"…\"]"
-  }
+[
+  {
+    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
+    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
+    "diff": [
+      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
+    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconnaître quand j'ai tort",
+    "diff": [
+      "delete    text[150:151] --> decoded_text[150:150]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non ?)",
+    "decoded_text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non?)",
+    "diff": [
+      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Vive la non-moutonnerie !!! mais je comprends ce que tu veux dire ^^",
+    "decoded_text": "Vive la non-moutonnerie!!! mais je comprends ce que tu veux dire ^^",
+    "diff": [
+      "delete    text[23:24] --> decoded_text[23:23]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime !\")",
+    "decoded_text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime!\")",
+    "diff": [
+      "delete    text[277:278] --> decoded_text[277:277]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Quand les élus se réunissent-ils ?",
+    "decoded_text": "Quand les élus se réunissent-ils?",
+    "diff": [
+      "delete    text[32:33] --> decoded_text[32:32]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- Dans la vie, quel est ton surnom ? Insérez votre réponse ici",
+    "decoded_text": "- Dans la vie, quel est ton surnom? Insérez votre réponse ici",
+    "diff": [
+      "delete    text[34:35] --> decoded_text[34:34]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- Si tu étais une couleur, tu serais… Insérez votre réponse ici",
+    "decoded_text": "- Si tu étais une couleur, tu serais... Insérez votre réponse ici",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:39]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015873015873015872,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Si tu étais une plante, tu serais… Insérez votre réponse ici",
+    "decoded_text": "- Si tu étais une plante, tu serais... Insérez votre réponse ici",
+    "diff": [
+      "replace   text[35:36] --> decoded_text[35:38]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016129032258064516,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Si tu étais un aliment, tu serais… Insérez votre réponse ici",
+    "decoded_text": "- Si tu étais un aliment, tu serais... Insérez votre réponse ici",
+    "diff": [
+      "replace   text[35:36] --> decoded_text[35:38]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016129032258064516,
+    "oov_charset": "[\"…\"]"
+  }
 ]

stats/compression_rate/thu-coai.CharacterGLM-6B @ cc100.es.diff.json

@@ -1,105 +1,105 @@
-[
-  {
-    "text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
-    "decoded_text": "- Escribe, no importa el  sop orte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
-    "diff": [
-      "replace   text[25:28] --> decoded_text[25:30]    'sop' --> ' sop '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Actividad física , Deporte , Salud",
-    "decoded_text": "Actividad física, Deporte, Salud",
-    "diff": [
-      "delete    text[16:17] --> decoded_text[16:16]      ' ' --> ''",
-      "delete    text[26:27] --> decoded_text[25:25]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Súper! , necesito el numero 10 y 14, me haces un precio por ambos?. Gracias!",
-    "decoded_text": "Súper!, necesito el numero 10 y 14, me haces un precio por ambos?. Gracias!",
-    "diff": [
-      "delete    text[6:7] --> decoded_text[6:6]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Si compro uno de 10\" y otro de 14\" me podrías hacer precio ? La medida se toma en el diámetro del cuenco desde el exterior de la pared? O desde el interior ?",
-    "decoded_text": "Si compro uno de 10\" y otro de 14\" me podrías hacer precio? La medida se toma en el diámetro del cuenco desde el exterior de la pared? O desde el interior?",
-    "diff": [
-      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''",
-      "delete    text[155:156] --> decoded_text[154:154]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Si , podría hacerte un precio. La medida va desde el exterior.",
-    "decoded_text": "Si, podría hacerte un precio. La medida va desde el exterior.",
-    "diff": [
-      "delete    text[2:3] --> decoded_text[2:2]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "A) siempre me quedaría la opción de ir a Talasoponiente, el moderno centro de talasoterapia de Gijón que ofrece la posibilidad de disfrutar de los efectos del medio marino para relajar tanto el cuerpo como la mente, disfrutando de los tratamientos más avanzados. Su método terapéutico natural y respetuoso con el organismo humano consiste en la utilización del medio marino (agua, arena, algas, lodos, etcétera).",
-    "decoded_text": "A) siempre me quedaría la opción de ir a Tala sop oniente, el moderno centro de talasoterapia de Gijón que ofrece la posibilidad de disfrutar de los efectos del medio marino para relajar tanto el cuerpo como la mente, disfrutando de los tratamientos más avanzados. Su método terapéutico natural y respetuoso con el organismo humano consiste en la utilización del medio marino (agua, arena, algas, lodos, etcétera).",
-    "diff": [
-      "replace   text[45:48] --> decoded_text[45:50]    'sop' --> ' sop '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Entre 2004 y 2008, todos los habitantes de veredas altas de El Dorado tuvieron que desplazarse a la cabecera municipal por la presencia de guerrilla y paramilitares. Toda la zona quedó abandonada, convertida en campo de batalla.\"En 2008, la gente se cansó y un grupo de 25 familias de varias veredas, dijimos 'vamos para las fincas'\", cuenta Herney Chávez, otro de los líderes. \"La Policía y el Ejército nos decían: 'si quieren, váyanse, pero no les garantizamos nada'. Hicimos lo que se llamaba un retorno irregular\".",
-    "decoded_text": "Entre 2004 y 2008, todos los habitantes de veredas altas de El Dorado tuvieron que desplazarse a la cabecera municipal por la presencia de guerrilla y paramilitares. Toda la zona quedó abandonada, convertida en campo de batalla.\"En 2008, la gente se cansó y un grupo de 25 familias de varias veredas, dijimos 'vamos para las fincas'\", cuenta Herney Chávez, otro de los líderes. \"La Policía y el Ejército nos decían:'si quieren, váyanse, pero no les garantizamos nada'. Hicimos lo que se llamaba un retorno irregular\".",
-    "diff": [
-      "delete    text[415:416] --> decoded_text[415:415]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Habrá soporte material de acuerdo con el nivel que se tenga y se quiera alcanzar, pero, en un principio, la metodología es...",
-    "decoded_text": "Habrá  sop orte material de acuerdo con el nivel que se tenga y se quiera alcanzar, pero, en un principio, la metodología es...",
-    "diff": [
-      "insert    text[6:6] --> decoded_text[6:7]       '' --> ' '",
-      "insert    text[9:9] --> decoded_text[10:11]       '' --> ' '"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "ARTÍCULO 103.- PLAZO. Los criterios de oportunidad pueden aplicarse durante el procedimiento hasta la culminación de la etapa preparatoria .",
-    "decoded_text": "ARTÍCULO 103.- PLAZO. Los criterios de oportunidad pueden aplicarse durante el procedimiento hasta la culminación de la etapa preparatoria.",
-    "diff": [
-      "delete    text[138:139] --> decoded_text[138:138]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  },
-  {
-    "text": "Cuando no sea posible porque se niegue a dar sus generales o las dé falsamente, se procederá a su identificación por testigos, en la forma prescrita para los reconocimientos o por otros medios que se consideren adecuados .",
-    "decoded_text": "Cuando no sea posible porque se niegue a dar sus generales o las dé falsamente, se procederá a su identificación por testigos, en la forma prescrita para los reconocimientos o por otros medios que se consideren adecuados.",
-    "diff": [
-      "delete    text[220:221] --> decoded_text[220:220]      ' ' --> ''"
-    ],
-    "n_oov_chars": 0,
-    "oov_ratio": 0.0,
-    "oov_charset": "[]"
-  }
+[
+  {
+    "text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
+    "decoded_text": "- Escribe, no importa el  sop orte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
+    "diff": [
+      "replace   text[25:28] --> decoded_text[25:30]    'sop' --> ' sop '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Actividad física , Deporte , Salud",
+    "decoded_text": "Actividad física, Deporte, Salud",
+    "diff": [
+      "delete    text[16:17] --> decoded_text[16:16]      ' ' --> ''",
+      "delete    text[26:27] --> decoded_text[25:25]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Súper! , necesito el numero 10 y 14, me haces un precio por ambos?. Gracias!",
+    "decoded_text": "Súper!, necesito el numero 10 y 14, me haces un precio por ambos?. Gracias!",
+    "diff": [
+      "delete    text[6:7] --> decoded_text[6:6]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Si compro uno de 10\" y otro de 14\" me podrías hacer precio ? La medida se toma en el diámetro del cuenco desde el exterior de la pared? O desde el interior ?",
+    "decoded_text": "Si compro uno de 10\" y otro de 14\" me podrías hacer precio? La medida se toma en el diámetro del cuenco desde el exterior de la pared? O desde el interior?",
+    "diff": [
+      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''",
+      "delete    text[155:156] --> decoded_text[154:154]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Si , podría hacerte un precio. La medida va desde el exterior.",
+    "decoded_text": "Si, podría hacerte un precio. La medida va desde el exterior.",
+    "diff": [
+      "delete    text[2:3] --> decoded_text[2:2]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "A) siempre me quedaría la opción de ir a Talasoponiente, el moderno centro de talasoterapia de Gijón que ofrece la posibilidad de disfrutar de los efectos del medio marino para relajar tanto el cuerpo como la mente, disfrutando de los tratamientos más avanzados. Su método terapéutico natural y respetuoso con el organismo humano consiste en la utilización del medio marino (agua, arena, algas, lodos, etcétera).",
+    "decoded_text": "A) siempre me quedaría la opción de ir a Tala sop oniente, el moderno centro de talasoterapia de Gijón que ofrece la posibilidad de disfrutar de los efectos del medio marino para relajar tanto el cuerpo como la mente, disfrutando de los tratamientos más avanzados. Su método terapéutico natural y respetuoso con el organismo humano consiste en la utilización del medio marino (agua, arena, algas, lodos, etcétera).",
+    "diff": [
+      "replace   text[45:48] --> decoded_text[45:50]    'sop' --> ' sop '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Entre 2004 y 2008, todos los habitantes de veredas altas de El Dorado tuvieron que desplazarse a la cabecera municipal por la presencia de guerrilla y paramilitares. Toda la zona quedó abandonada, convertida en campo de batalla.\"En 2008, la gente se cansó y un grupo de 25 familias de varias veredas, dijimos 'vamos para las fincas'\", cuenta Herney Chávez, otro de los líderes. \"La Policía y el Ejército nos decían: 'si quieren, váyanse, pero no les garantizamos nada'. Hicimos lo que se llamaba un retorno irregular\".",
+    "decoded_text": "Entre 2004 y 2008, todos los habitantes de veredas altas de El Dorado tuvieron que desplazarse a la cabecera municipal por la presencia de guerrilla y paramilitares. Toda la zona quedó abandonada, convertida en campo de batalla.\"En 2008, la gente se cansó y un grupo de 25 familias de varias veredas, dijimos 'vamos para las fincas'\", cuenta Herney Chávez, otro de los líderes. \"La Policía y el Ejército nos decían:'si quieren, váyanse, pero no les garantizamos nada'. Hicimos lo que se llamaba un retorno irregular\".",
+    "diff": [
+      "delete    text[415:416] --> decoded_text[415:415]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Habrá soporte material de acuerdo con el nivel que se tenga y se quiera alcanzar, pero, en un principio, la metodología es...",
+    "decoded_text": "Habrá  sop orte material de acuerdo con el nivel que se tenga y se quiera alcanzar, pero, en un principio, la metodología es...",
+    "diff": [
+      "insert    text[6:6] --> decoded_text[6:7]       '' --> ' '",
+      "insert    text[9:9] --> decoded_text[10:11]       '' --> ' '"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "ARTÍCULO 103.- PLAZO. Los criterios de oportunidad pueden aplicarse durante el procedimiento hasta la culminación de la etapa preparatoria .",
+    "decoded_text": "ARTÍCULO 103.- PLAZO. Los criterios de oportunidad pueden aplicarse durante el procedimiento hasta la culminación de la etapa preparatoria.",
+    "diff": [
+      "delete    text[138:139] --> decoded_text[138:138]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Cuando no sea posible porque se niegue a dar sus generales o las dé falsamente, se procederá a su identificación por testigos, en la forma prescrita para los reconocimientos o por otros medios que se consideren adecuados .",
+    "decoded_text": "Cuando no sea posible porque se niegue a dar sus generales o las dé falsamente, se procederá a su identificación por testigos, en la forma prescrita para los reconocimientos o por otros medios que se consideren adecuados.",
+    "diff": [
+      "delete    text[220:221] --> decoded_text[220:220]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
 ]

vocab.py

@@ -240,6 +240,8 @@ _all_tokenizer_config = [
     TokenizerConfig("Qwen/Qwen1.5-1.8B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("Qwen/Qwen2-0.5B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("Qwen/Qwen2-72B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
+    TokenizerConfig("Qwen/Qwen2.5-0.5B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
+    TokenizerConfig("Qwen/Qwen2.5-72B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("HuggingFaceH4/starchat-alpha", impl=TokenizerImpl.SentencePiece, org="-"),
 
     ####### google/sentencepiece tokenizer:
@@ -259,7 +261,14 @@ _all_tokenizer_config = [
 
     # byte-level BPE
     # '中文单字': 700, '中文多字': 0  meta-llama/Meta-Llama-3.1-405B
-    TokenizerConfig("meta-llama/Meta-Llama-3.1-405B", name_display="Meta/llama3.1", impl=TokenizerImpl.SentencePiece,
+    # 
+    TokenizerConfig("meta-llama/Llama-3.2-1B-Instruct", impl=TokenizerImpl.SentencePiece,
+                    org="Meta"),
+    TokenizerConfig("meta-llama/Llama-3.2-3B-Instruct", impl=TokenizerImpl.SentencePiece,
+                    org="Meta"),
+    # TokenizerConfig("meta-llama/Llama-3.3-70B-Instruct", impl=TokenizerImpl.SentencePiece,
+    #                 org="Meta"),
+    TokenizerConfig("meta-llama/Meta-Llama-3.1-405B", impl=TokenizerImpl.SentencePiece,
                     org="Meta"),
     TokenizerConfig("NousResearch/Hermes-3-Llama-3.1-405B", impl=TokenizerImpl.SentencePiece,
                     org="NousResearch"),
@@ -368,6 +377,12 @@ _all_tokenizer_config = [
     TokenizerConfig("deepseek-ai/deepseek-coder-33b-instruct", org="DeepSeek"),
     TokenizerConfig("deepseek-ai/deepseek-llm-7b-base", org="DeepSeek"),
     TokenizerConfig("deepseek-ai/DeepSeek-V2", org="DeepSeek"),
+    TokenizerConfig("deepseek-ai/DeepSeek-V3", org="DeepSeek"),
+    TokenizerConfig("deepseek-ai/DeepSeek-R1", org="DeepSeek"),
+    TokenizerConfig("deepseek-ai/DeepSeek-R1-Zero", org="DeepSeek"),
+    TokenizerConfig("deepseek-ai/DeepSeek-R1-Distill-Llama-70B", org="DeepSeek"),
+    
+    
     TokenizerConfig("google/gemma-7b", org="Google"),
     TokenizerConfig("google/gemma-2-9b", org="Google"),
     TokenizerConfig("allenai/OLMo-7B-hf", org="Allen AI"),