Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -1,6 +1,6 @@
|
|
1 |
import streamlit as st
|
2 |
from transformers import pipeline
|
3 |
-
from
|
4 |
import difflib
|
5 |
|
6 |
# Cấu hình ứng dụng
|
@@ -76,9 +76,9 @@ if st.button("Get Result"):
|
|
76 |
result = correct_spelling(context, max_length=MAX_LENGTH)
|
77 |
corrected_text = result[0]['generated_text'] if result else "No output generated."
|
78 |
|
79 |
-
# Tokenize tiếng Việt sử dụng
|
80 |
-
original_tokens =
|
81 |
-
corrected_tokens =
|
82 |
|
83 |
# So sánh các từ và tìm từ thay đổi
|
84 |
def highlight_differences(original, corrected):
|
|
|
1 |
import streamlit as st
|
2 |
from transformers import pipeline
|
3 |
+
from underthesea import word_tokenize # Thư viện underthesea để tokenize tiếng Việt
|
4 |
import difflib
|
5 |
|
6 |
# Cấu hình ứng dụng
|
|
|
76 |
result = correct_spelling(context, max_length=MAX_LENGTH)
|
77 |
corrected_text = result[0]['generated_text'] if result else "No output generated."
|
78 |
|
79 |
+
# Tokenize tiếng Việt sử dụng underthesea
|
80 |
+
original_tokens = word_tokenize(context)
|
81 |
+
corrected_tokens = word_tokenize(corrected_text)
|
82 |
|
83 |
# So sánh các từ và tìm từ thay đổi
|
84 |
def highlight_differences(original, corrected):
|