readme: ---
  annotations_creators: []
  language:
  - ro
  language_creators:
  - machine-generated
  license: 
  - apache-2.0
  multilinguality:
  - monolingual
  pretty_name: BlackKakapo/t5-small-summarization-ro
  size_categories:
  - 10K<n<100K
  
  datasets:
  - readerbench/ro-text-summarization
  
  tags: []
  task_categories:
  - text2text-generation
  task_ids: []
  ---
  
  
  # Romanian summarization
  ![v1.0](https://img.shields.io/badge/V.1-18.10.2022-brightgreen)
  Fine-tune t5-small model for summarization. [Dataset](https://huggingface.co/datasets/readerbench/ro-text-summarization).
  ### How to use
  ```python
  from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
  tokenizer = AutoTokenizer.from_pretrained("BlackKakapo/t5-small-summarization-ro")
  model = AutoModelForSeq2SeqLM.from_pretrained("BlackKakapo/t5-small-summarization-ro")
  ```
  ### Or
  ```python
  from transformers import T5ForConditionalGeneration, T5TokenizerFast 
  model = T5ForConditionalGeneration.from_pretrained("BlackKakapo/t5-small-summarization-ro")
  tokenizer = T5TokenizerFast.from_pretrained("BlackKakapo/t5-small-summarization-ro")
  ```
  ### Generate
  ```python
  import time
  
  start_time = time.time()
  
  example = '''
  Nu este clar, deocamdată, dacă deputatul socialist va contesta actul emis de ANI. Dacă cele constatate de ANI vor fi probate în instanță, Vlad Batrâncea va fi decăzut din dreptul de a mai exercita mandatul de deputat.
  În declarația de avere și interese personale pentru anul 2019, Vlad Batrâncea a indicat un venit de 20 de mii de euro din vânzarea unui apartament. Potrivit inspectorului de integritate, nu este clar ce apartament a fost vândut și care este venitul obținut. Conform informațiilor din banca centrală de date a cadastrului, prezentate de ANI, Batrâncea nu a deținut bunuri imobile în proprietate până a fi subiect al declarării. Prin urmare, inspectorul de integritate notează că nu este clar cum deputatul ar fi obținut această sumă, odată ce nu a avut niciun drept de proprietate asupra bunului.
  
  '''
  
  def preprocess_function(example):
      text =  "summarize: " + example
      
      encoding = tokenizer.encode_plus(text, pad_to_max_length=True, return_tensors="pt")
      input_ids, attention_masks = encoding["input_ids"].to(device), encoding["attention_mask"].to(device)
  
      return input_ids, attention_masks
  
  input_ids, attention_masks = preprocess_function(example)
  
  beam_outputs = model.generate(
      input_ids=input_ids, 
      attention_mask=attention_masks,
      max_length=512
  )
  
  for beam_output in beam_outputs:
      sent_para = tokenizer.decode(beam_output, skip_special_tokens=True,clean_up_tokenization_spaces=True)
  
      print(sent_para)
      
  print("--- %s seconds ---" % (time.time() - start_time))     
  ```
  ### Output
  ```output
  ['Vlad Batrâncea va fi decăzut din dreptul de a mai exercita mandatul de deputat. În declarația de avere și interese personale pentru anul 2019, Vlad Batrâncea a indicat un venit de 20 de mii de euro din vânzarea unui apartament.']
  ```