Upload README.md

README.md

@@ -4,6 +4,19 @@
 
 ## What is this?
 
+### 2.00aa
+
+
+
+
+
+
+
+
+
+
+### 1.0a
+
 WaifuNijiMix is a merged model based on Waifu Diffusion v1.3. It merged with the intention of minimizing the inclusion of NAI leak model-related data.
 
 All the merging with other models is done using Add_difference. multiple LoRA/LOCONs are added.
@@ -16,6 +29,24 @@ For art style adjustment from Various Lora, like NijiJourny's style.
 ## Examples
 clip skip 2
 
+### 2.00aa
+
+CFG scale 12
+
+  ![sample_200_spring](sample_img/200_spring.png)
+  ![sample_200_summer](sample_img/200_summer.png)
+  ![sample_200_autumn](sample_img/200_autumn.png)
+  ![sample_200_winter](sample_img/200_winter.png)
+
+CFG scale 8
+
+  ![sample_cafe](sample_img/cafe.png)
+
+### 1.0a
+
+<details>
+<summery>sample</summary>
+
 CFG scale 12
 
   ![sample_spring](sample_img/spring.png)
@@ -23,7 +54,7 @@ CFG scale 12
   ![sample_autumn](sample_img/autumn.png)
   ![sample_winter](sample_img/winter.png)
 
-CFG scale 6
+CFG scale 8
 
   ![sample_computer_repair](sample_img/computer_repair.png)
   ![sample_veranda](sample_img/veranda.png)
@@ -33,12 +64,29 @@ CFG scale 6
 Q: I'm only getting full-body images. What should I do?
 
 A: Please try adding "upper_body" to the prompt.
+</details>
 
 ---
 
 Japanese desc.
 
 ## このモデルは？
+
+### 2.00aa
+
+WaifiNijiMix 2.0aaはSD1.5にtrainDifferenceでWaifu Diffusion v1.3をマージしたモデルを基にしたマージモデルです。NAIリークモデル関連の情報をなるべく含まないようにしており、他モデルとのマージは全てAdd_differenceで行った後、ベースのモデルとweight_sumマージすることによって適用強度を調整しています。
+
+世のモデルの大半はNAIリーク要素を含んでいるためSD1.4ベースのものとなっていますが、1.5ベースで作られた場合にどういうモデルができあがっていたかを調べるという目的で作成しました。1.0aを継承しておらず、1からマージし直していますが、含まれているモデルは多分に重複しているため背景の傾向などはそう変わらないと思います。
+
+1.0aで問題のあった屋外背景において円形屋根が表示される問題への対応、弱かったNSFW成分の強化を目指しています。
+
+LoRAをあまり含めると破局的忘却が増える傾向が強かったため、忘却が少なめなものに限定して少量適用しています。
+
+<details>
+<summery>1.0a</summary>
+
+### 1.0a
+
 WaifuNijiMixはWaifu Diffusion v1.3を基にしたマージモデルです。NAIリークモデル関連の情報をなるべく含まないようにしています。
 
 他モデルとのマージは全てAdd_differenceで行っています。そこに多数のLoRA/LOCONを追加しています。
@@ -47,18 +95,57 @@ WaifuNijiMixはWaifu Diffusion v1.3を基にしたマージモデルです。NAI
 
 絵柄調整にNijiJourny画風学習のLora等を使っています。
 
+</details>
+
+
 ## MIXモデルなのに本当にNAIを含んでいないの？
 
 マージに用いた各モデルはNAIを含んでいると推測されたため、一番近いNAI系モデルとの差分を合成してはいます。そのため元のモデルとして推測したマージモデルが間違っていたら、少量差分が含まれてしまっている可能性があります。
 
-念のため確認したASimilarityCalculatior占いの結果は次のとおりです。(一部元モデル名からリネームしているのはご容赦ください。)
+念のため確認した、2.00aaでのASimilarityCalculatior (in層まで拡張)での占いの結果は次のとおりです。(一部元モデル名からリネームしているのはご容赦ください。)
+
+```
+sd-v1-4.ckpt [7460a6fa] - 74.36%
+sd15pruned_emaonly.ckpt [81761151] - 82.72%
+wd13float32.ckpt [4470c325] - 76.25%
+wd-v1-2-full-ema.ckpt [45dee52b] - 74.54%
+novelai_animefull_final_pruned.ckpt [925997e9] - 75.51%
+novelai_animesfw_final_pruned.ckpt [1d4a34af] - 74.25%
+ACertainty.ckpt [0e200e66] - 72.04%
+Anything-V3.0-pruned.ckpt [2700c435] - 75.32%
+anything-v4.0-pruned-fp16.safetensors [53d80ac0] - 79.29%
+anything-v4.5-pruned-fp16.ckpt [fc018a75] - 79.12%
+AbyssOrangeMix.safetensors [cc44dbff] - 77.32%
+AbyssOrangeMix2_hard.safetensors [931f9552] - 77.41%
+AOM3A3_orangemixs.safetensors [9600da17] - 78.13%
+Elysium_V1.ckpt [44bf0551] - 79.16%
+Elysium_Anime_V3.safetensors [1a97f4ef] - 77.83%
+ElyOrangeMix.ckpt [6b508e59] - 78.38%
+Evt_M.safetensors [2a2c58bc] - 73.00%
+pastelmix-better-vae.safetensors [4048130a] - 77.42%
+grapefruitHentaiModel_grapefruitv4.safetensors [e7542b65] - 76.63%
+hassakuHentaiModel_hassakuv1.safetensors [b3fa28ba] - 76.64%
+offset_noise.ckpt [9453d9a1] - 82.77%
+nightSkyYOZORAStyle_yozoraV1PurnedFp16.safetensors [94245290] - 76.47%
+7th_anime_v3_C.safetensors [6b3ba9a7] - 76.52%
+Counterfeit-V2.5.safetensors [9b36871e] - 77.71%
+neverendingDreamNED_noVae.safetensors [9ce0df7a] - 79.68%
+```
+
+* offset noiseを含んでいないのに近いのは数少ないsd1.5系モデルだからか？
+* 最早waifu diffusion 1.3の成分が弱すぎる
+* NEDもdreamshaperも含んでいないのにNEDに近すぎるのは不明。リアル系モデルにおいてはinsta-cafe等のsd1.5系モデルがあるので、sd1.5要素に反応した？ 
+
+<details>
+<summery>1.0a</summary>
+念のため確認した、1.0aでのASimilarityCalculatior占いの結果は次のとおりです。(一部元モデル名からリネームしているのはご容赦ください。)
 ```
 sd-v1-4.ckpt [7460a6fa] - 84.40%
 sd15pruned_emaonly.ckpt [81761151] - 65.68%
 wd-v1-2-full-ema.ckpt [45dee52b] - 84.85%
 wd13float32.ckpt [4470c325] - 86.76%
 ACertainty.ckpt [0e200e66] - 81.50%
-Anything-V3.0-pruned.ckpt [2700c435] - 84.61%
+Anything-V3girls talking at living room, from below3.0-pruned.ckpt [2700c435] - 84.61%
 anything-v4.0-pruned-fp16.safetensors [53d80ac0] - 84.70%
 anything-v4.5-pruned-fp16.ckpt [fc018a75] - 85.14%
 AbyssOrangeMix2_hard.safetensors [931f9552] - 85.34%
@@ -71,21 +158,25 @@ colorBoxModel_colorBOX.safetensors [a80fee84] - 83.89%
 7th_anime_v3_C.safetensors [6b3ba9a7] - 84.55%
 Counterfeit-V2.5.safetensors [9b36871e] - 85.34%
 ```
+
 * NAIを含んだマージモデルで上記モデルとの比較を行った場合、多くのモデルとの一致率が90%以上になる。
 * 最も高い一致率を示しているのがwaifu diffusion 1.3
 * Elysium_V1との一致率が高いが、そもそもElysium自体、waifu diffusionとの一致率がNAIとのそれより高い。waifu diffusionをマージしている？
-* waifu diffusion 1.3との比較ですら90%を切ってしまっているのは、いろいろ足しすぎて最早テセウスの船と化しているのでは？
+* waifu diffusion 1.3との比較ですら90%を切ってしまっているのは、いろいろ足しすぎて最早テセウスの船と化しているのでは？ 或いはマージの途中で破局的忘却もマージしてしまっている。
+
+</details>
+
 
 ## どうしようもなくて現在諦めている要素
 * いろんなポーズが出ない。
 * いろんな構図が出ない。
-* カメラアングル関連ワードの効きが悪いor効かない。
+* カメラアングル関連ワードの効きが悪いor効かない。 => 2.0aaにて改善
 * 縦長にすると露骨に構図が眠たい。
-* ファンタジー系背景が出づらい
+* ファンタジー系背景が出づらい。 => 2.0aaにて改善
 
 ### 対策
 * 出したい構図があるならcontrolnetを使う。
-* このモデル専用に学習する必要があるかも？
+* LoRAやLECOでこのモデル専用に学習する必要があるかも？
 
 ## このモデルをマージして新しいモデルを作ったら、それはWD系だとかNAI不使用を名乗れるの？
 良心に任せます。簡単な判断基準としてはNAI系モデルと通常のweight sumマージを一回でもしたらだめだと思います。
@@ -102,7 +193,22 @@ Counterfeit-V2.5.safetensors [9b36871e] - 85.34%
   
   つまりは共通部分Aは一切変化していないのに、Bのモデルの特徴とCのモデルの特徴が薄められた上で合わさったモデルが作られます。
   
-  （たとえこのモデルをマージして共通部分を少なくしても異なる部分が薄まることには変わりがないので効果は限定的と思います。）
+  （たとえこのモデルをマージして共通部分を少なくしても異なる部分が薄まることには変わりがないので、このモデルをマージしたところで効果は限定的だと思いますが。）
+
+## nsfw成分は？
+
+1.0aではあまり出ません。マージの途中で忘れてしまっています。
+
+2.00aaではそれなりに出力されますが、negativeでの工夫がいるかもしれません。
+
+## 世の中のLoRAをいろいろマージしたらnsfw成分を足せるのでは？
+
+世の中のLoRAすべてが正則化されて他要素への影響が最小限にされていればその通りです。でもそんなことはないために合成するモデル(およびLoRA)を増やすたびにどこかに破局的忘却が発生します。
+
+特定の構図が追加される代わりに他のものが(一部ならまだしもすべてだったり)忘れられてしまうようなモデルを、追加して修正してを繰り返すのは効率が悪いです。
+
+LoRAを適用して出力した画像を用いて、正則化しながら自分で学習しなおした方が早くそして正確でしょう。
 
+今後マージにおいても破局的忘却への対処方法が発見されればよいですね。