readme: ---
  language: ja
  tags:
      - ja
      - japanese
      - gpt2
      - text-generation
      - lm
      - nlp
  license: mit
  datasets:
      - wikipedia
      - cc100
  ---
  
  # 日本語 gpt2 蒸留モデル
  
  このモデルは[rinna/japanese-gpt2-meduim](https://huggingface.co/rinna/japanese-gpt2-medium)を教師として蒸留したものです。
  蒸留には、HuggigFace Transformersの[コード](https://github.com/huggingface/transformers/tree/main/examples/research_projects/distillation)をベースとし、[りんなの訓練コード](https://github.com/rinnakk/japanese-pretrained-models)と組み合わせてデータ扱うよう改造したものを使っています。
  
  訓練用コード: https://github.com/knok/japanese-pretrained-models
  
  ## 学習に関して
  
  学習に当たり、Google Startup Programにて提供されたクレジットを用いました。
  a2-highgpu-4インスタンス(A100 x 4)を使って4か月程度、何度かのresumeを挟んで訓練させました。
  
  ## 精度について
  
  Wikipediaをコーパスとし、perplexity 40 程度となります。
  rinna/japanese-gpt2-meduim を直接使った場合、27 程度なので、そこまで及びません。
  何度か複数のパラメータで訓練の再開を試みたものの、かえって損失が上昇してしまう状態となってしまったので、現状のものを公開しています。
  
  ## トークナイザについて
  
  トークナイザは rinna/japanese-gpt2-meduim を使ってください。
  
  # Japanese GPT-2 model
  
  This model is a dillated model from [rinna/japanese-gpt2-medium](https://huggingface.co/rinna/japanese-gpt2-medium).
  To train, I combined HuggingFace Transformers [code](https://github.com/huggingface/transformers/tree/main/examples/research_projects/distillation) and [rinna gpt2 train code](https://github.com/rinnakk/japanese-pretrained-models).
  
  The code is available at: https://github.com/knok/japanese-pretrained-models
  
  ## training environment
  
  To train, I used GCP credit offered by Google Startup Progam.
  Using a2-highgpu-4 instance (A100 x4), it takes about 4 months with some stopping and resume training.
  
  ## perplexity
  
  The model gets about 40 perplexity with Wikipedia corpus.
  The teacher model rinna/japanese-gpt2-meduim gets about 27 perplexity, so the student model is worse.
  
  ## tokenizer
  
  The repository don't have tokenizer, so you shoud use rinna/japanese-gpt2-medium.
  
  # LICENSE
  
  MIT  (same as rinna/japanese-gpt2-medium)
  
  