natural-language-processing text-generation torch lstm ru doi:10.57967/hf/2352 license:mit region:us
---
language:
- ru
license: mit
tags:
- natural-language-processing
- text-generation
- torch
- lstm
---

This generative text model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian writer Vladimir Nabokov. Models of this type well represent individual style.

Model was trained with size 1024 and 3 layers, dropout 0.5.

## Usage

The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

```bash
th sample.lua lolita_free_epoch0.72_0.9961.t7 -length 10000 -temperature 0.5 -primetext 'some text' 
```

## Train data

Train data is non free due to copyright restrictions. The texts in the training sample were collected by Lyubov Karakuts. These were Nabokov's original texts written by him in Russian, including his autotranslation of the novel "Lolita".

Consists of 3,531,782 symbols.

## What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as individual style.

## Style imitation

In April 2022, Lubov Karakuts and I published a [Nabokov-style story](https://gorky.media/context/ona-ochen-horosho-govorila-russkim-yazykom/) written using the then-current version of GPT. In parallel, this model was trained to compare the success of style imitation using different technologies.

## Samples

### temperature 0.5

```
овой Ивановиче и женщина в поле комнаты на коридоре, на белых местах поднимал колени на полке, он повернул к нему колени, и он был недели, и он пробавлял по воздухе, он видел бы волной и волос и карандаша, поднимал колени, только поднялся на половину, и мать не могла бы сказать, как скажи на своем подобие воды, выпустила в уголку в глазах, смотрел на Китсона, со стороны как раз в кисть. Пожалуй, не видел нашего дома. Но не видел наслаждение полдень, вообще не подходит к ней на доброжелательности маленького полетали лишние дела. В новом полам всегда было очень сказать, и тогда он проникал меня, стараясь ответить себя полной стороны своей памяти. На нем был высокий воздух. Моя мысль, как все недостаточно выпиться с собой от нее полного измена за ней за дверью, потом подумала о том, что вот сейчас вокруг простого положения жизни покрыла на него прозрачная и трудная листва, который я однажды нашел опять. 
```

### epoch 19,_temperature 0.6

```
овой Зегели между креслом желтого постели и фамилии, и глаза и не могла напортить на него, и вот потому он с ней описывал в нем - теплое, недостойное стало бы обминуться из комнаты, пока она сейчас не могла взять ладонь в полуотрезке, как на половине, в каком-то направлении к зеленым кашельски на букву и бывшие всякой иностранной и позже. Он потащил ее в комнату, прислонился к концу солнца, наполнил его шаги. Из темной женской подруги подтверждал ему возможность. В одном из первых светов встали в ближайший родок, много обезоченных картины, и он выпучил из стола на дневник и, нашел его на голову, и после довольно опираясь опять по столу, в которой он остановился, добился нищий контор, задерживая глаза и открыл портфель. Когда она была извлечь и принимала ее совсем больше невозможно и так мешало кончиться. Вдруг проглотил лицо люди и поезда помертвый башмак поднял красные фразы, вспоминали в нем назад приказчика. На этой полной коробке как-то померла как бы всего виноградной бородки, полной крестиков, который была непонятная и нелепые, но когда он не мог вытаскивать и задыхаться. Он возился в комнату под ногами поднятые пальцы в какой-то не полежать впадину, поднимаясь, вздрагивал и внезапно вытирая ладонью по колени, добивался лишь толстый букет, в течение полубрака, а медленно вернувшись под столиком. 
```

## BibTeX entry and citation info

```
@article{орехов2021текст,
  title={Текст и перевод Владимира Набокова через призму стилеметрии},
  author={Орехов, Борис Валерьевич},
  journal={Новый филологический вестник},
  number={3 (58)},
  pages={200--213},
  year={2021},
  publisher={Общество с ограниченной ответственностью {\guillemotleft}Издательство Ипполитова{\guillemotright}}
}
```
