transformers pytorch t5 text2text-generation summarization vi dataset:Wikilingua license:mit autotrain_compatible text-generation-inference endpoints_compatible region:us
---
datasets:
- Wikilingua
language: vi
license: mit
tags:
- summarization
widget:
- text: Hoa quả và rau thường rẻ hơn khi vào mùa. Thường thì các cửa hàng thực phẩm
    sẽ giảm giá cho các mặt hàng nông sản đang vào mùa vì họ biết khách hàng luôn
    chờ đợi những loại nào vào thời gian nào trong năm. Hơn nữa rau quả đúng mùa bao
    giờ cũng ngon hơn.
inference:
  parameters:
    max_length: 256
---

# Vietnamese pretrain model for Abstractive Text Summarization task

`State-of-the-art lightweights pretrained Transformer-based encoder-decoder model for Vietnamese.`

``Model trained on dataset Wikilingua of vietnamese language with input length = 512, output length = 256``
## How to use

```python
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
​
tokenizer = AutoTokenizer.from_pretrained("minhtoan/t5-small-wikilingua_vietnamese")  
model = AutoModelForSeq2SeqLM.from_pretrained("minhtoan/t5-small-wikilingua_vietnamese")
model.cuda()
src = 'Là Thủ tướng khi lạm phát gần 70%, ngân sách thâm hụt, thất nghiệp nhiều, nhưng với tư duy cởi mở, sẵn sàng "không làm được thì từ chức", ông Võ Văn Kiệt đã mang đến nhiều cải cách kinh tế cho Việt Nam. Trong trí nhớ của Chuyên gia kinh tế Phạm Chi Lan, cố Thủ tướng Võ Văn Kiệt là một lãnh đạo có tư duy kinh tế thị trường, chịu khó học hỏi, biết lắng nghe. "Những gì ông thấy tốt cho người dân thì sẽ tiếp thu rất nhanh", bà Lan nói với VnExpress. Còn PGS. TS Trần Minh Trưởng, Viện trưởng Viện Hồ Chí Minh và các lãnh tụ của Đảng (Học viện Chính trị - Hành chính quốc gia) nhận định về ông Võ Văn Kiệt trên Báo Nhân dân như "một trong những người đi đầu trong công cuộc đổi mới ở Việt Nam kể từ năm 1986", "tổng công trình sư nhiều dự án táo bạo". Nhậm chức Thủ tướng giữa muôn vàn khó khăn Năm 1985, sau một thập niên theo mô hình bao cấp, kinh tế Việt Nam ngày càng phụ thuộc vào viện trợ và vay nợ nước ngoài, lên đến 8,5 tỷ ruble (khoảng 3.500 tỷ đồng) và 1,9 tỷ USD (gần 45.600 tỷ đồng). Cứ thêm một năm, mô hình càng trục trặc và lỗi thời. Ngân sách bị thâm hụt và phải bù đắp bằng việc in tiền để chi tiêu. Việc lặp lại sai lầm "giá - lương - tiền" khiến lạm phát phi mã lên gần 775% vào năm 1986 và vẫn ở mức hai chữ số những năm 1990, 1991. Trong khi đó, tỷ lệ thất nghiệp lên đến 12,7%. Những chỉ số đáng báo động đã góp phần thức tỉnh tư duy các nhà lãnh đạo, dẫn đến quyết định đổi mới tại Đại hội VI (tháng 12/1986). Trong đó, đổi mới về kinh tế là một trong những nhiệm vụ trọng tâm, nhằm đưa đất nước thoát khỏi nguy khó. Ông Võ Văn Kiệt, lúc ấy đang là Phó chủ tịch Hội đồng Bộ trưởng, trở thành một lãnh đạo chủ chốt kiến tạo nên công cuộc này.'
tokenized_text = tokenizer.encode(src, return_tensors="pt").cuda()
model.eval()
summary_ids = model.generate(
                    tokenized_text,
                    max_length=256, 
                    num_beams=5,
                    repetition_penalty=2.5, 
                    length_penalty=1.0, 
                    early_stopping=True
                )
output = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
output
```
```python
output: Ông Võ Văn Kiệt, lúc ấy đang là Phó chủ tịch Hội đồng Bộ trưởng, trở thành một lãnh đạo chủ chốt kiến tạo nên công cuộc đổi mới ở Việt Nam kể từ năm 1986. Trong khi đó, ông Võ Văn Kiệt đã mang đến nhiều cải cách kinh tế cho Việt Nam.
```

## Author
`
Phan Minh Toan
`