README.md

---
license: mit
language:
- ru
tags:
  - natural-language-processing
  - text-generation
  - tensorflow
  - lstm
  - poetry-generation
---

This model is trained in of 2017 with TensorFlow as character-based. Russian poetry by [Vladimir Vysotsky](https://en.wikipedia.org/wiki/Vladimir_Vysotsky) served as the train corpus.

Model has 3 layers and 1024 neurons.

## Usage

To generate new samples, run the script `sample.py` (Python 2!). The scripts `utils.py` and `model.py` should be in the same folder, and the `save` folder with the model files should be a subfolder (its location can be changed in the script in line 22).

## Train data

Poetic texts from [two volumes edition](https://fantlab.ru/series4733) were the input for training.

## What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.

## Samples

### Sample 1


```
Дять архимики
– Садишь до со мной и нож›
Когда на полметном Одессё.
Остонатель боюсь, мои собранной марабан.
Франят до нас пристеляют бьют:
«Ах, хочешь, – подарить!»
Суе бросило прекраснее,
Хоть не рядом к маму и обязательно:
Загулял по небу сторонам,
И много весну – не услышь,
Другие гони, будто стараюсь в никуда, —
Он подбей мы с жизни над исходнимся
Во лбу ломаешь из него.
Все гог свершить, я не дождешься,
А всегда мы миллионов
Не буду со мною споют —
Неужели мои животную.
О мы, глядя на доволе.
Бьют лучи в пылем у спину – червый погоди, —
Все высмотреть и при этом «А»,
Послать недоверчивости превратиться!..»
То так – ты мне не могут недоверчивый!
1976
```

### Sample 2


```
Сорок девять друг, —
Я дали предложил —
Мы появляли в цепях, —
Для рубль в горло всё крики, – так и, конфетие, —
Многих мозги разве тихий
Всего —
Люди номер был, —
Только с ним вперед,
Но полвека, – в Кокильоне.
Был бар лучше по лугу,
Всё нож пложии,
К двадцать остает поить,
К другой хотело выбор – останемся на миг со свыкам —
Привиденья в край,
Сать!
Где не все – снова говори, —
Осторожно им,
Натунутого помереть,
Чтоб нырнет нас встречи!»
Но почему-яй, надежней снять, —
Не думает – мы вниз, кто
```

### Sample 3


```
Песня Вопилась
Да коровами про провода
Состоит – нет, шерной и ненасытную свой слева тех.
Ах, профессия стоны я!» – «Сядьгай»,
А в бугучем вас ждем – в «х»,
После другие лица, —
Пусть годив? И жить еще два все. Но интересо…»
Правда, сел нанести – только меды же не понять!
Отсюда Сильничок, по ступе, в одиночку
На гробу заветных среж прыти:
Что нас нет – не их не пытай,
Ну и также преступнику с метом.
Начиный, как со старой весом хочется,
Осторожно – на миг со сфер.
Закрывают ломаюсь, и тут же лезь, – говорит, —
Хоть то, что говорить, -
можешь, – сказал, даже санитары!»
Он под танцы, молчи, про край, да и младенье креста,
Никогда – им аппертом боюсь,
И как палачей,
Всегда в тебе, над Селе… О Тому – хоть про планеты,
Положите в схорбье зовут, —
Он подвер.
Я смысь недвижим:
Смею судьба, по мной —
Не забудьте в поле Становит?!
За мой мой дом с ошибкой науки
Серебряные,
Руби, согласны, старики —
Наш мир… Нет, а знать, что сплеты, чтоб оправданье!
Все со мной не поесть!
Где нет, живу не загулял,
Ктой-то о ступая эспустиме, —
Повозь посмею мир! Ох как на кранс, без богом, парень
Разговор у нас,
А вождя – подытаволость!
А на Мадридель – был балаготу
Наша на будуществе плетет труд!»
Вот сплаванья законы
Разговор посещал —
И хочу я знать, что глинжа, —
Мы стеклопика Лаз.
«1978›
```

## Public appearance

I've told about this model in an [interview to a newspaper](https://www.kp.ru/daily/26926.4/3973081/) in 2019.

## BibTeX entry and citation info

The samples were published and analyzed in several academic papers. See file `NN.pdf` in this repository. 

```
@article{orekhov2017artificial,
  title={Искусственные нейронные сети как особый тип distant reading},
  author={Орехов, Борис Валерьевич},
  journal={Вестник Приамурского государственного университета им. Шолом-Алейхема},
  number={2 (27)},
  pages={32--43},
  year={2017}
}
```


And there is another paper in English. For citation:

```
@article{orekhov2020neural,
  title={Neural reading: Insights from the analysis of poetry generated by artificial neural networks},
  author={Orekhov, Boris and Fischer, Frank},
  journal={Orbis Litterarum},
  volume={75},
  number={5},
  pages={230--246},
  year={2020},
  publisher={Wiley Online Library}
}
```