readme: ---
  language: ru
  license: cc-by-nc-4.0
  tags:
  - paraphrasing
  - seq2seq
  ---
  
  ## Поэтический перефразировщик
  
  Это генеративная модель на основе ```sberbank-ai/rugpt3large_based_on_gpt2```, дообученной
  на датасете перефразировок [inkoziev/paraphrases](https://huggingface.co/datasets/inkoziev/paraphrases).
  Она разработана для использования в проекте [генеративной поэзии](https://github.com/Koziev/verslibre).
  Код для тренировки и использования перефразировщика доступен в репозитрии [https://github.com/Koziev/paraphraser](https://github.com/Koziev/paraphraser).
  
  
  ### Особенности перефразировки
  
  Обращаю внимание, что модель **не предназначена** для использования там, где требуется
  особо аккуратная работа с именованными сущностями. Так как в стихах не возникает особых проблем (более того,
  в некоторых сценариях использования это даже желательно), если перефразировки теряют или добавляют некоторую семантику в исходный текст, то обучающий датасет
  и модель на его основе может путать дни недели, имена, добавлять что-то от себя, быть метафоричной или иносказательной.
  
  ### Методика файнтюна
  
  В обучающем датасете есть негативные примеры перефразировок, и я использую их вместе с правильными примерами в ходе файнтюна,
  подавая на классификационную голову в [GPT2DoubleHeadsModel](https://huggingface.co/docs/transformers/model_doc/gpt2#transformers.GPT2DoubleHeadsModel).
  Код, выполняющий файнтюн, доступен [тут](https://github.com/Koziev/paraphraser/blob/main/train_paraphraser_with_gpt2doublehead.py).
  
  Такой подход к файнтюну оказался лучше, чем два других подхода:
  
  1) дефолтный способ файнтюна, когда GPT дообучается просто на текстах, состоящих из исходного текста и перефразировки,
  разделенных специальным токеном. В этом подходе модель обучается также на токенах затравки, что может быть нежелательным.
  2) вариация первого способа, в котором токены затравки (исходного текста) исключаются из обратного распространения с помощью
  задания labels=-100 ([код](https://github.com/Koziev/paraphraser/blob/main/finetune_paraphraser_with_prompt_masking.py)).
  
  В качестве метрики для сравнения подходов и для подбора числа неверных вариантов перефразировки в GPT2DoubleHeadsModel
  использована комбинация из:
  1) близость векторов эмбеддингов исходного текста и сгенерированной перефразировки. Векторы получаются с помощью
  модели ```sberbank-ai/sbert_large_mt_nlu_ru```. Я не стал использовать [модель-критик](https://huggingface.co/inkoziev/sbert_synonymy),
  поскольку она обучалась на таком же датасете.
  2) дисконтируем результаты п.1 символьной близостью (3-граммы) по коэффициенту Жаккара. Это штрафует перестановочные
  перефразировки, воспроизведение исходного текста и небольшие переписывания.
  
  ### Формат входных данных
  
  На вход модели подается исходный текст с добавлением токенов ```<s>``` в начале и ```<sep>``` в конце, например:
  
  ```
  input_text = '<s>Мороз и солнце, день чудесный<sep>'
  ```
  
  Результат генерации будет содержать текст с токеном ```</s>``` - это конец последовательности.
  
  ### Пример использования
  
  Следующий код позволяет ввести в консоли короткое предложение
  и видеть результат ее перефразировки моделью:
  ```
  import torch
  from transformers import AutoTokenizer, AutoModelForCausalLM
  
  
  device = "cuda" if torch.cuda.is_available() else "cpu"
  
  model_name = "inkoziev/paraphraser"
  
  tokenizer = AutoTokenizer.from_pretrained(model_name)
  model = AutoModelForCausalLM.from_pretrained(model_name)
  model.to(device)
  model.eval()
  
  while True:
      seed = input(':> ').strip()
      encoded_prompt = tokenizer.encode("<s>" + seed + "<sep>", add_special_tokens=False, return_tensors="pt").to(device)
      output_sequences = model.generate(input_ids=encoded_prompt,
                                        max_length=100,
                                        typical_p=0.85,
                                        top_k=0,
                                        top_p=1.0,
                                        do_sample=True,
                                        num_return_sequences=10,
                                        pad_token_id=tokenizer.pad_token_id)
  
      for o in output_sequences:
          text = tokenizer.decode(o.tolist(), clean_up_tokenization_spaces=True)
          text = text[text.index('<sep>') + 5:]
          text = text[: text.find('</s>')]
          print(text)
  ```
  