readme: ---
  inference: false
  language:
  - bg
  license: mit
  datasets:
  - oscar
  - chitanka
  - wikipedia
  tags:
  - torch
  ---
  
  # PEGASUS BASE
  
  This model was pretrained on Bulgarian language. It was intorduced in [this paper](https://arxiv.org/pdf/1912.08777.pdf). 
  
  ## Model description
  
  The training data is private Bulgarian squad data. 
  
  ## Intended uses & limitations
  
  You can use the raw model for generation of question-answer pairs related with given Bulgarian text.
  
  ### How to use
  
  Here is how to use this model in PyTorch:
  
  ```python
  >>> from transformers import PegasusForConditionalGeneration, AlbertTokenizer
  >>>
  >>> model_id = "rmihaylov/pegasus-base-qag-bg"
  >>> model = PegasusForConditionalGeneration.from_pretrained(model_id)
  >>> tokenizer = AlbertTokenizer.from_pretrained(model_id)
  >>>
  >>> text = """Това, че някой може да заяви на най-силен глас исканията си, не означава те да бъдат удовлетворени, заяви Костадин Ангелов. 
  Той допълни, че приоритетите на властите са здравето, образование и спорта, давайки знак, че се търси разхлабване на мерките в болничните заведения, връщането на учениците в класните стаи и отварянето на обектите за масов спорт.
  """
  >>>
  >>> inputs = tokenizer.encode_plus(
  >>>     text, 
  >>>     return_tensors='pt', 
  >>>     truncation=True, 
  >>>     max_length=512, 
  >>>     return_token_type_ids=False, 
  >>>     return_attention_mask=True)
  >>> 
  >>> outputs = model.generate(**inputs,                          
  >>>     max_length=150, 
  >>>     top_p=0.95, 
  >>>     top_k=20, 
  >>>     do_sample=True, 
  >>>     num_return_sequences=10, 
  >>>     num_beams=1,
  >>>     eos_token_id=50259,
  >>>     decoder_start_token_id=50257,
  >>>     return_dict_in_generate=True,
  >>>     output_scores=True)
  >>> 
  >>> for g in outputs.sequences:
  >>>   text_gen = tokenizer.decode(g, skip_special_tokens=False)
  >>> 
  >>>   if ('[SEP]' not in text_gen) or ('[MASK]' not in text_gen) or ('[CLS]' not in text_gen):
  >>>     continue
  >>> 
  >>>   question, answer = text_gen.replace('[CLS]', '').strip().split('[SEP]')
  >>>   answer = answer.split('[MASK]')[0].strip()
  >>>   
  >>>   if (not answer) or (answer not in text) or (len(answer) <= 1):   
  >>>     continue
  >>> 
  >>> print(f'{question.strip()}\n{answer.strip()}', '\n\n')
  
  Какво трябва да се предприеме, за да се случи?
  разхлабване 
  
  
  Какви са приоритетите на управляващите?
  здравето, образование и спорта, 
  
  
  Какви усилия има правителството за стимулиране на раждаемостта?
  разхлабване на мерките 
  
  
  Какъв е основният проблем, който може да реши?
  образование 
  ```
  