readme: ---
  license: creativeml-openrail-m
  language:
  - en
  tags:
  - stable-diffusion
  - stable-diffusion-diffusers
  - text-to-image
  
  ---
  
  以下の5人の[東北ずん子プロジェクト](https://zunko.jp/)のキャラクターイラストを用いてDreamBoothで学習したモデルです．
  
  - ``itako``: 東北イタコ
  - ``zunko``: 東北ずん子
  - ``kiritan``: 東北きりたん
  - ``zundamon``: ずんだもん (人間形態)
  - ``metan``: 四国めたん
  
  学習画像はなるべく衣装にバリエーションをもたせているので，「公式衣装」は出にくいです．
  
  🔈 キャラクターを増やして学習したモデル[shirayu/sd-tohoku-v2](https://huggingface.co/shirayu/sd-tohoku-v2)を公開しました (2023-01-04)
  
  ## ファイル形式
  
  1. [AUTOMATIC1111/stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)などckptファイルを読み込むツールの場合
  
      [sd-tohoku-v1.model.ckpt](https://huggingface.co/shirayu/sd-tohoku-v1/resolve/main/sd-tohoku-v1.model.ckpt)(約2GB)をダウンロードして読み込んでください
  
  2. [diffusers](https://github.com/huggingface/diffusers)から利用する場合
  
      ```python
      from diffusers import DiffusionPipeline
      pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v1")
      ```
  
  ## 紹介動画
  
  <a href="https://www.nicovideo.jp/watch/sm41313614">
  <img src="https://img.cdn.nimg.jp/s/nicovideo/thumbnails/41313614/41313614.80180214.original/r1280x720l?key=23adae7a647d3afa1049dc9c39204802d20870ca260b75939dd016ba127cebd8" width="500" alt="東北ずん子プロジェクトのキャラをAIお絵描き！">東北ずん子プロジェクトのキャラをAIお絵描き！　(ニコニコ動画)
  </a>
  
  ## ライセンス
  
  [CreativeML Open RAIL-M license 1.0](https://hf.space/static/bigscience/license/index.html)
  
  また，各種法令・各種ガイドラインにご留意ください．
  例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合，
  [「東北ずん子プロジェクト キャラクター利用の手引き」](https://zunko.jp/guideline.html)に基づいて利用してください．
  
  ## 学習設定
  
  - 元モデル: [Nilaier/Waifu-Diffusers](https://huggingface.co/Nilaier/Waifu-Diffusers) (fbd1958)
      - Base model: [hakurei/waifu-diffusion-v1-3](https://huggingface.co/hakurei/waifu-diffusion-v1-3)
      - VAE: [hakurei/waifu-diffusion-v1-4](https://huggingface.co/hakurei/waifu-diffusion-v1-4)
  - 学習画像
      - 5キャラクター計69枚
          - itako: 東北イタコ  18枚
          - zunko: 東北ずん子  13枚
          - kiritan: 東北きりたん 13枚
          - zundamon: ずんだもん (人間形態) 9枚
          - metan: 四国めたん 16枚
      - アルファチャンネルは削除 + 白背景 + センタリング + 512x512にリサイズ
  - 学習元コード: [ShivamShrirao/diffusers](https://github.com/ShivamShrirao/diffusers) (``7232c2a``)
      - [``examples/dreambooth/train_dreambooth.py``](https://github.com/ShivamShrirao/diffusers/blob/7232c2a/examples/dreambooth/train_dreambooth.py)
  - 学習設定
      - Instance ID: ``itako``, ``kiritan``, ``zunko``, ``metan``, ``zundamon`` (5種)
      - Instance prompt: ``<ID> 1girl``
      - Tesla T4で約110分
      - その他設定:
  
      ```txt
      --prior_loss_weight=0.5 \
      --seed=3434554 \
      --resolution=512 \
      --center_crop \
      --train_batch_size=1 \
      --train_text_encoder \
      --mixed_precision="fp16" \
      --use_8bit_adam \
      --gradient_checkpointing \
      --gradient_accumulation_steps=2 \
      --learning_rate=1e-6 \
      --lr_scheduler="constant" \
      --lr_warmup_steps=0 \
      --num_class_images=50 \
      --sample_batch_size=3 \
      --max_train_steps=8000
      ```
  
  ## 学習に使った画像
  
  <img src="https://pbs.twimg.com/media/Ff6FF1NaMAAL8N5?format=jpg&name=small" width="500" alt="学習に使った画像">
  
  ## 生成例
  
  <img src="https://pbs.twimg.com/media/Ff6AgzyaMAExeb3?format=png&name=900x900" width="500" alt="東北きりたんの生成例">
  
  ```txt
  kiritan, 1girl, volleyball, kawaii, in gymnasium, head
  Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
  Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 575469807, Size: 704x512
  ```
  
  <img src="https://pbs.twimg.com/media/Ff6Ank1aYAY7bxk?format=png&name=900x900" width="500" alt="ずんだもんの生成例">
  
  ```txt
  zundamon , maid dress, in cafe, Kyoto Animation
  Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
  Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 429473516, Size: 512x704
  ```
  
  <img src="https://pbs.twimg.com/media/Ff6AuXoakAAPtYa?format=png&name=900x900" width="500" alt="東北イタコの生成例">
  
  ```txt
  itako, dating in park, cute winter fashion
  Negative prompt: out of frame, amateur drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
  Steps: 60, Sampler: Euler a, CFG scale: 7.5, Seed: 2722676181, Size: 704x512
  ```
  
  <img src="https://pbs.twimg.com/media/Ff6A2lQakAAj1Bb?format=png&name=small" width="500" alt="東北ずん子と四国めたんの生成例">
  
  ```txt
  zunko and metan sit on bench, in school uniform, drink tea, 2girls, in 2020s anime style
  Negative prompt: chibi, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly
  Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 2262270937, Size: 640x512
  ```
  