readme: ---
  language: 
    - vi
  thumbnail: "url to a thumbnail used in social sharing"
  tags:
  - News
  - Language model
  - GPT2
  datasets:
  - Private Vietnamese News dataset
  metrics:
  - rouge
  - wer
  
  ---
  
  
  # GPT-2 Fine-tuning With Vietnamese News
  ## Model description
  A Fine-tuned Vietnamese GPT2 model which can generate Vietnamese news based on context (category + headline), based on the Vietnamese Wiki GPT2 pretrained model (https://huggingface.co/danghuy1999/gpt2-viwiki)
  
  ## Github
  - https://github.com/Tuan-Lee-23/Vietnamese-News-Generative-Model
  
  ## Purpose
  This model has been made only for fun and experimental study. However, It gave impressive results
  Most of the generated news are fake with unconfirmed information. Honestly, I feel excited about this project =))
  
  ## Dataset
  The dataset is about 30k Vietnamese news dataset from website thanhnien.vn
  Categories are:
  - thời sự, 'thế giới', 'tài chính kinh doanh', 'đời sống', 'văn hoá', 'giải trí', 'giới trẻ', 'giáo dục', 'công nghệ', 'sức khoẻ'
  
  ## Result  
  - Train Loss: 2.3
  - Val loss: 2.5
  - Rouge F1: 0.556
  - Word error rate: 1.08
  
  ## Deployment
  - You can use my deployment at Huggingface' space (https://huggingface.co/spaces/tuanle/VN-News-GPT2)
  - You can choose any categories and give it some text for the headline, then generate. There we go
  - P/s: I've already tried to deploy my model on Streamlit's cloud, but It was always being broken due to out of memory
  - Example result
  ![image](https://user-images.githubusercontent.com/43035837/155842166-6ebf4fe1-0470-4fad-8c0b-0c50e821f310.png)
  - Input:
  ```
    - Category: thế giới
    - Headline: Chiến tranh biên giới
  ```
  - Output:
  
  - Article 1:
    - Headline: Chiến tranh biên giới Nga - phương Tây căng thẳng
    - Content: 
  
  Hôm qua (24.11), Mỹ và các đồng minh bày tỏ lo ngại về khả năng Nga tấn công Ukraine, trong khi Moscow bác bỏ cáo buộc này.
  
  Reuters dẫn lời các quan chức Mỹ cho rằng Nga có thể tiến hành chiến tranh với Ukraine trong vài ngày tới. Trong khi đó, Bộ trưởng Quốc phòng Nga Sergei Shoigu tuyên bố Nga không đe dọa bất kỳ ai. Ông lặp lại lời kêu gọi NATO không mở rộng về phía đông, đồng thời cho biết Nga sẵn sàng đối thoại với các nước châu Âu và châu lục địa để giải quyết các vấn đề an ninh và ổn định ở châu Á - Thái Bình Dương (Indo-Pacific).
  
  Trong khi các cuộc đàm phán diễn ra trong bối cảnh Nga tập trung hàng chục ngàn binh sĩ gần biên cương của mình, Moscow phủ nhận các yêu cầu của Mỹ về việc rút quân khỏi Ukraine. Tuy nhiên, Tổng thống Ukraine Volodymyr Zelensky của Ukraine cho hay nước này không có ý định nhượng bộ về lãnh thổ nước mình. “Chúng tôi không lo lắng về các lệnh cấm vận”, ông phát biểu tại cuộc họp báo ở thủ đô Kiev hôm qua. Nhà lãnh đạo Ukraine cũng nói rằng các hoạt động quân sự của Nga tại khu vực đang trở nên tồi tệ hơn so với những gì Moscow từng thực hiện gần đây. Nga đã nhiều lần cảnh báo các lực lượng vũ trang Ukraine và NATO về những hành động tương tự, dù Moscow không đưa ra bình luận chính thức. Giới quan sát trước đó lo sợ Nga sẽ đưa quân đến gần Ukraine nếu có động thái gây bất ổn. Tổng thư ký NATO Jens Stoltenberg ngày 26.10 cho thấy Nga đang chuẩn bị cho một cuộc tập trận chung với Mỹ trong tuần này, theo Reuters. Một phát ngôn viên Bộ Ngoại giao Nga Maria Zakharova ngày 24.9 nói Moscow đang xem xét việc triển khai thêm vũ khí hạt nhân và tên lửa đạn đạo tầm trung (IRBM) đến Đông Âu, châu Phi và Trung Đông để đối phó với sự trỗi dậy của biến thể Omicron. Trước đó một ngày, Nga thông báo đã thử nghiệm thành công một hệ thống IRBM mới, nhưng chưa có thông tin về phản ứng của Moscow đối với đề xuất này từ phía Mỹ. Moscow khẳng định các máy bay không người lái (UAV) do Nga chế tạo đều có hiệu lực tốt và được bảo vệ bởi các cơ quan tình báo quốc tế. Hồi tháng trước, Ukraine đã đưa thêm một số tiêm kích F-16A và Su-30 đến căn cứ không quân ở miền đông Ukraine để phản đối sự bành trướng của quân đội Nga. Đáp lại, chính quyền Kiev ngày 25.12 đã thông qua dự luật cho phép Ukraine sáp nhập bán đảo Crimea vào năm 2014 với giá 1,5 triệu USD. Ngoài ra còn có một thỏa thuận AUKUS với Nga nhằm giúp Ukraine gia nhập NATO. Theo Reuters, Mỹ cũng đã đề nghị Nga cung cấp thêm chi phí cho việc xây dựng cơ sở hạ tầng cho các tàu chiến, tàu hộ tống và tàu tuần tra của NATO tại biên viễn này trong năm nay, nhằm ngăn chặn việc Nga xâm nhập Ukraine từ các bên khác. Ngoại trưởng Mỹ Antony Blinken dự kiến sẽ có cuộc điện đàm với người đồng cấp Nga Vladimir Putin vào ngày 30.1.2022, trước khi cuộc gặp giữa ông Putin và ông Bynic giữa các bộ trưởng Nga và Ukraine sẽ được tổ chức trực tiếp tại Geneva (Thụy Sĩ) vào cuối tháng này (theo giờ địa phương). Các ngoại trưởng cũng có mặt tại Moscow từ ngày 2 - 3.2 để thảo luận về tình hình Ukraine tại Hội nghị thượng đỉnh G20 của Liên Hiệp Quốc về biến đổi khí hậu lần thứ
  - Article 2:
    - headline: Chiến tranh biên giới Nga - phương Tây căng thẳng
    - content: 
  
  Trong một diễn biến liên quan tình hình Ukraine, Bộ trưởng Quốc phòng Nga Sergei Shoigu hôm qua thông báo nước này