text_plain_output_1.png
from underthesea import word_tokenize

from vncorenlp import VnCoreNLP

import numpy as np # linear algebra

import re

import string

import string
class Config:
    max_sequence_length = -1
    word_vec = -1
    punctuations = f'[{string.punctuation}\\d\n]'
    seed = 44

from vncorenlp import VnCoreNLP
vncorenlp = VnCoreNLP('../input/vncorenlp/VnCoreNLP-1.1.1.jar', annotators='wseg,pos,ner,parse', max_heap_size='-Xmx2g')

vncorenlp_example = vncorenlp.tokenize('nắng chiếu lung linh trên hoa vàng')

import fasttext.util
cbow_pretrain = fasttext.load_model('../input/cbow-model/cc.vi.300.bin')

import re
def format_sentence(sentence):
    sentence = re.sub(f'[{string.punctuation}\\d\n]', '', sentence)
    tokens = vncorenlp.tokenize(sentence.lower())[0]
    sentence = ' '.join(tokens)
    embedding_sentence = cbow_pretrain.get_sentence_vector(sentence)
    return embedding_sentence

from underthesea import word_tokenize
'\nSự khác biệt giữa vnnlpcore và underthesea:\n - Shape\n - vncorenlp sử dụng gạch dưới để token từ\n'
print(vncorenlp.tokenize('thậm chí ở đó chỉ có dây cáp nguồn'))
print(word_tokenize('thậm chí ở đó chỉ có dây cáp nguồn'))