README.md

---
license: mit
language:
- ru
tags:
  - natural-language-processing
  - poetry-generation
  - text-generation
  - torch
  - lstm
---

This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by Russian poets of first third of 20th century.

Model was trained with size 512 and 7 layers, dropout 0.5.

There are 2 checkpoints of this model presented in the repository. One after 2 epochs with loss 0.9125, the other after 9 epochs with loss 0.8772. These metrics are in the file name.

## Usage

The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

```bash
th sample.lua lm_lstm_epoch9.10_0.8772.t7 -length 10000 -temperature 0.5 -primetext 'some text' 
```

## Train data

Train data is non free due to copyright restrictions. The corpus consisted of texts from 1900 to 1930 that were included in the RNC.

## What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.

## Publication

The texts that produced this model were used in [an experiment](https://nm1925.ru/articles/2018/201806/galvanizatsiya-avtora-ili-eksperiment-s-neyronnoy-poeziey-6935/) with poetry researcher.

## Samples

### temperature 0.2

```
Милый лиц в невзначай дуть
беглоту ладных искуплений!
Тут кто с нами -- мырник,
у кого-то -- дно
красное славы вскрикнет колая...
За столетьем при под гул буржуев.
Под молодостью враги
оно безволиет француз.
Ориалиды -- путь инеек,
убконь зови, а вина -- / стальны,
ну а искры / наспичателя / до белых --
и как Норскты учешься:
«Прекрасная, / монастырь,
что живая, / розовитесь!
Дома подижите? / Полжика, / и в тихой тени -- / хизонок / заб бундара
мешает / Россию / умереть.
Моря пятна, / везде
и, плоха / от голубых / Кочевных жал.
Я не мы увидал предпочитаре
по скелетам стучит, стренит катой!
Лошадь Суда. 
Братополового зигзага.
Прокону.
Сквозь птицу-мотор
Даль истащена --
и страшней месятся, что сернится задорно...
Где со всей полным вкусам.
Непостижамина и не скажите! 
Да, только их, / с паспистом.
Ты -- вашим / веляв и топот.
Не утлел, опять в нем / цела...
Отинуется / хлыной халдеябогов --
как сизый -- под хваток: --
Как же опутцы
простововоротки!..»
-- «Мечивикикинцов?»
Погудет в раскате,
Второй дют, петомол,
Чем песок светлый...
Да, / Что ж -- деревца, трудный!
```

### temperature 0.6

```
и не знаю в моей невесте и золоте,
а только здесь, за просим, что они воскресли:
как на небо сказала на плечи,
как молчаливо и мигом летят колоколов
В стакане красном из горних ласков
И нам не вернулась о нем движется все мысли.
Я покорную тебя придет,
И где было замутило небо,
И кричит во мгле и мимо каменистых песок.
Но почему ж над землей не пишать бессильным
Не приходил, как в земном поле
На небе одиноком красота,
И не забудется весь плач печальный.
И не спится ничего и не в разном,
В последний раз не знаю, как мы долю свободны.
И потому -- невеста отличая,
Сомкнуть над предвечною покойной кровью.
Но заметил, не размерен и страшный свет.
Ведь ты полночь была своей волной.
И я спокойно заметить живу
Встречать старых дней проклятых в привет.
Когда отражается опасно,
Печаль не одинокая моя.
И много голосов горячих мира,
Как водный вольный голос тропинки,
И вот я за городом грозным дымам спасен.
И в полустаром дожде полной усладой
Стоит моя полей жизни и полночь.
И теплый полог разглядывает свет.
Слушай, за то, что сколько отражений
Подобно зовет и была ветер,
И вихва она над ней услышала медн
```

### temperature 0.5

```
в небо медленно великой и грудью безвольной
взор мой воспоминаньем не приметить,
как будто твои лирики сердце возвращалось горая,
и верь мне понятна сталь в поле смертном.
И в темных полях не вернутся просторы,
не были в ночи и на горе и нежность.
Но верит грозы мальчиков виденья,
когда под полей играет венчиком,
ты простишь в такие дни мне вечера.
И буду ли остановился в поле,
в моих портретах огней и миров
не встретить долгие жалобы воскресенья,
а душа весна пронизана в плену
и помнила в лозунгах бесплотных обода,
или благодарить не подают слова.
Проступающий воздух смертный
пред листвой страстной медной славы,
и в темных пространствах простертых и слова
под водой поляной не тот же ветра.
Но в душе волненье томится простором,
блестит над морями колокольчики.
Сегодня взором и медленно восклицанья,
и вот без проклятья в пространствах спешащих.
Все было помнится жизнь и простор
и создам на горе она,
и узнала мне каждый дом,
и солнце нет облаков над раскаленными словами
встретится слезами на синеве.
```

### temperature 0.5

```
Как волны двери безвольной
Запретные подает полоса.
В поле постели подобный ветер
Приподнял в полусне и в колено,
И ветром долго светлеет,
Ветер полный взмахивал.
И под морями ветра легко поднималась переступая полоса.
И забыла весна в лицо закатные колонны,
И всё равно не слышит под небом,
И она простерла веселый голос,
И вечерами белые полны,
И на поляны закатных крылий
Воздушный огонь в ответ, в поле леса
Вечерние губы и слезы
В ней ответит, как солнце в объятьях,
В поле подняты в пространство обломка,
И вечно все настанут в обет,
Но вот и просто над приветом
Стремится в полночной глубине.
И она погасла она,
И он сказал: «Прости меня,
Все сладостно и смерть подобна,
И легко и нежно, смерть и поля,
И замечает солнце призраком весны.
Под милою смертной волной вольной
Восходит тайной солнцем бездонным,
И женщины вольные волнуют подвески
И странно и день и небосклон.
И солнце не волнуют просторы,
Как в море бесполезное моря,
И долго под раскатом пастуха
Поднималась на площади волна.
```

## Citation info

```
@article{orehov2018halva,
  title={Гальванизация автора, или эксперимент с нейронной поэзией},
  author={Орехов, Б.В. and Успенский, П.Ф.},
  journal={Новый мир},
  number={6},
  pages={139--158},
  year={2018}
}
```