Diezu commited on
Commit
2fc88a6
·
verified ·
1 Parent(s): c5a7fdb

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +4 -4
app.py CHANGED
@@ -1,6 +1,6 @@
1
  import streamlit as st
2
  from transformers import pipeline
3
- from vitokenize import vitokenize # Thư viện vitokenize để tokenize tiếng Việt
4
  import difflib
5
 
6
  # Cấu hình ứng dụng
@@ -76,9 +76,9 @@ if st.button("Get Result"):
76
  result = correct_spelling(context, max_length=MAX_LENGTH)
77
  corrected_text = result[0]['generated_text'] if result else "No output generated."
78
 
79
- # Tokenize tiếng Việt sử dụng vitokenize
80
- original_tokens = vitokenize(context)
81
- corrected_tokens = vitokenize(corrected_text)
82
 
83
  # So sánh các từ và tìm từ thay đổi
84
  def highlight_differences(original, corrected):
 
1
  import streamlit as st
2
  from transformers import pipeline
3
+ from underthesea import word_tokenize # Thư viện underthesea để tokenize tiếng Việt
4
  import difflib
5
 
6
  # Cấu hình ứng dụng
 
76
  result = correct_spelling(context, max_length=MAX_LENGTH)
77
  corrected_text = result[0]['generated_text'] if result else "No output generated."
78
 
79
+ # Tokenize tiếng Việt sử dụng underthesea
80
+ original_tokens = word_tokenize(context)
81
+ corrected_tokens = word_tokenize(corrected_text)
82
 
83
  # So sánh các từ và tìm từ thay đổi
84
  def highlight_differences(original, corrected):