readme: # GPT-2 Fine-tuning With Vietnamese Six Eight Poems
  ## Model description
  This is a Vietnamese GPT-2 Six Eight Poet Model which is trained on the 10mb of Six Eight poems dataset, based on the Vietnamese Wiki GPT2 pretrained model (https://huggingface.co/danghuy1999/gpt2-viwiki)
  
  ## Purpose
  This model was made only for fun and experimental study
  
  ## Dataset
  The dataset is about 10k lines of Vietnamese Six Eight poems
  
  ## Result
  - Train Loss: 2.7
  - Val loss: 4.5
  
  
  
  ## How to use
  You can use this model to generate Six Eight poems given any starting words
  
  ## Example
  ```python
  import torch
  from transformers import AutoTokenizer, AutoModelForCausalLM
  
  
  device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  tokenizer = AutoTokenizer.from_pretrained("tuanle/GPT2_Poet")
  
  model = AutoModelForCausalLM.from_pretrained("tuanle/GPT2_Poet").to(device)
  text = "hỏi rằng nàng"
  
  input_ids = tokenizer.encode(text, return_tensors='pt').to(device)
  min_length = 60
  max_length = 100
  
  sample_outputs = model.generate(input_ids,pad_token_id=tokenizer.eos_token_id,
                                     do_sample=True,
                                     max_length=max_length,
                                     min_length=min_length,
                                  #    temperature = .8,
                                  #    top_k= 100,
                                     top_p = 0.8,
                                     num_beams= 10,
                                  #    early_stopping=True,
                                     no_repeat_ngram_size= 2,
                                     num_return_sequences= 3)
  
  for i, sample_output in enumerate(sample_outputs):
      print(">> Generated text {}\n\n{}".format(i+1, tokenizer.decode(sample_output.tolist(), skip_special_tokens=True)))
      print('\n---')
  ```
  
  ## Demo
  - Input: "hỏi rằng nàng"
  - Output:
  hỏi rằng nàng đã nói ra\
  cớ sao nàng lại hỏi han sự tình\
  vân tiên nói lại những lời\
  thưa rằng ở chốn am mây một mình\
  từ đây mới biết rõ ràng\
  ở đây cũng gặp một người ở đây\
  hai người gặp lại gặp nhau\
  thấy lời nàng mới hỏi tra việc này\
  nguyệt nga hỏi việc bấy lâu\
  khen rằng đạo sĩ ở đầu cửa thiền
  
  
  
  
  