Update app.py

app.py

@@ -1,6 +1,6 @@
 import streamlit as st
 from transformers import pipeline
-from underthesea import word_tokenize  # Thư viện tokenize cho tiếng Việt
+from vitokenize import vitokenize  # Thư viện vitokenize để tokenize tiếng Việt
 import difflib
 
 # Cấu hình ứng dụng
@@ -62,7 +62,7 @@ st.markdown(custom_css, unsafe_allow_html=True)
 st.title("Correct Spelling Mistakes App")
 
 # Load mô hình
-model_checkpoint = "Diezu/bat_pho_bo" 
+model_checkpoint = "Diezu/bat_pho_bo"  # Thay đổi checkpoint phù hợp
 correct_spelling = pipeline("text2text-generation", model=model_checkpoint)
 
 # Nhập liệu từ người dùng
@@ -76,9 +76,9 @@ if st.button("Get Result"):
             result = correct_spelling(context, max_length=MAX_LENGTH)
             corrected_text = result[0]['generated_text'] if result else "No output generated."
 
-            # Tokenize tiếng Việt
-            original_tokens = word_tokenize(context, format="text").split()
-            corrected_tokens = word_tokenize(corrected_text, format="text").split()
+            # Tokenize tiếng Việt sử dụng vitokenize
+            original_tokens = vitokenize(context)
+            corrected_tokens = vitokenize(corrected_text)
 
             # So sánh các từ và tìm từ thay đổi
             def highlight_differences(original, corrected):