long text

app.py

@@ -1,9 +1,12 @@
 # -*- coding: utf-8 -*-
 
-import gradio as gr
 import operator
-import torch
+import copy
+import re
+
 from transformers import BertTokenizer, BertForMaskedLM
+import gradio as gr
+import torch
 
 
 pretrained_model_name_or_path = "Macropodus/macbert4mdcspell_v2"
@@ -119,11 +122,73 @@ def func_macro_correct(text):
     else:
         corrected_text, details = get_errors_from_diff_length(corrected_text, text, know_tokens=vocab)
     print(text, ' => ', corrected_text, details)
-    return corrected_text + ' ' + str(details)
+    # return corrected_text + ' ' + str(details)
+    line_dict = {"source": text, "target": corrected_text, "errors": details}
+    return line_dict
+
+
+def cut_sent_by_stay(text, return_length=True, add_semicolon=False):
+    """  分句但是保存原标点符号  """
+    if add_semicolon:
+        text_sp = re.split(r"！”|？”|。”|……”|”！|”？|”。|”……|》。|）。|；|！|？|。|…|\!|\?", text)
+        conn_symbol = "；！？。…”;!?》）\n"
+    else:
+        text_sp = re.split(r"！”|？”|。”|……”|”！|”？|”。|”……|》。|）。|！|？|。|…|\!|\?", text)
+        conn_symbol = "！？。…”!?》）\n"
+    text_length_s = []
+    text_cut = []
+    len_text = len(text) - 1
+    # signal_symbol = "—”>；？…）‘《’（·》“~，、！。：<"
+    len_global = 0
+    for idx, text_sp_i in enumerate(text_sp):
+        text_cut_idx = text_sp[idx]
+        len_global_before = copy.deepcopy(len_global)
+        len_global += len(text_sp_i)
+        while True:
+            if len_global <= len_text and text[len_global] in conn_symbol:
+                text_cut_idx += text[len_global]
+            else:
+                # len_global += 1
+                if text_cut_idx:
+                    text_length_s.append([len_global_before, len_global])
+                    text_cut.append(text_cut_idx)
+                break
+            len_global += 1
+    if return_length:
+        return text_cut, text_length_s
+    return text_cut
+
+
+def func_macro_correct_long(text):
+    """   长句   """
+    texts, length = cut_sent_by_stay(text, return_length=True, add_semicolon=True)
+    text_correct = ""
+    errors_new = []
+    for idx, text in enumerate(texts):
+        text_out = func_macro_correct(text)
+        source = text_out.get("source")
+        target = text_out.get("target")
+        errors = text_out.get("errors")
+        text_correct += target
+        for error in errors:
+            pos = length[idx][0] + error[-1]
+            error_1 = [error[0], error[1], pos]
+            errors_new.append(error_1)
+    return text_correct + '\n' + str(errors_new)
 
 
 if __name__ == '__main__':
-    print(func_macro_correct('他法语说的很好，的语也不错'))
+    text = """网购的烦脑
+emer 发布于 2025-7-3 18:20 阅读：73
+
+最近网购遇到件恼火的事。我在网店看中件羽戎服，店家保正是正品，还承诺七天无里由退换。收到货后却发现袖口有开线，更糟的是拉链老是卡住。
+
+联系客服时，对方态度敷衔，先说让我自行缝补，后又说要扣除运废才给退。我在评沦区如实描述经历，结果发现好多消废者都有类似遭遇。
+
+这次购物让我明白，不能光看店家的宣全，要多查考真实评价。现在我已经学精了，下单前总会反复合对商品信息。
+网购的烦恼发布于2025-7-310期阅读：最近网购遇到件恼火的事。我在网店看中件羽绒服，店家保证是正品，还承诺七天无理由退换。收到货后却发现袖口有开线，更糟的是拉链老是卡住。联系客服时，对方态度敷衍，先说让我自行缝补，后又说要扣除运废才给退。我在评论区如实描述经历，结果发现好多消废者都有类似遭遇。这次购物让我明白，不能光看店家的宣全，要多查考真实评价。现在我已经学精了，下单前总会反复核对商品信息。
+网购的烦恼e发布于2025-7-3期期阅读：最近网购遇到件恼火的事。我在网店看中件羽绒服，店家保证是正品，还承诺七天无理由退换。收到货后却发现袖口有开线，更糟的是拉链老是卡住。联系客服时，对方态度敷衍，先说让我自行缝补，后又说要扣除运废才给退。我在评论区如实描述经历，结果发现好多消废者都有类似遭遇。这次购物让我明白，不能光看店家的宣全，要多查考真实评价。现在我已经学精了，下单前总会反复核对商品信息。网购的烦恼发布于2025-7-310期阅读：最近网购遇到件恼火的事。我在网店看中件羽绒服，店家保证是正品，还承诺七天无理由退换。收到货后却发现袖口有开线，更糟的是拉链老是卡住。联系客服时，对方态度敷衍，先说让我自行缝补，后又说要扣除运废才给退。我在评论区如实描述经历，结果发现好多消废者都有类似遭遇。这次购物让我明白，不能光看店家的宣全���要多查考真实评价。现在我已经学精了，下单前总会反复核对商品信息。"""
+    print(func_macro_correct_long(text))
 
     examples = [
         "夫谷之雨，犹复云之亦从的起，因与疾风俱飘，参于天，集于的。",
@@ -141,13 +206,11 @@ if __name__ == '__main__':
     ]
 
     gr.Interface(
-        func_macro_correct,
+        func_macro_correct_long,
         inputs='text',
         outputs='text',
         title="Chinese Spelling Correction Model Macropodus/macbert4mdcspell_v2",
         description="Copy or input error Chinese text. Submit and the machine will correct text.",
         article="Link to <a href='https://github.com/yongzhuo/macro-correct' style='color:blue;' target='_blank\'>Github REPO: macro-correct</a>",
         examples=examples
-    ).launch()  # .launch(server_name="0.0.0.0", server_port=8036, share=False, debug=True)
-
-
+    ).launch()