刻々と進化する生成AIですが環境が色々あるので個人的な備忘録と皆様方へのおすすめを書いておきます。執筆時点(2024年2月14日)。
※LoRAを作る予定がない場合はNovelAIがおすすめ。自由度、クオリティ、エロ共に最強です。マイナーキャラのLoRA作ってシコりたい人はローカルで。
Stable Diffusion WebUI Forge
WebUIの派生版。メモリ管理を改良しているのでより大きいを生成できたり生成が早くなったりする。メモリをギリギリまで使用すると動作が遅くなるため一時停止したような挙動をする場合はこちらのバージョンがおすすめ。将来的には本家と統合するつもりでいる様子。
SDXL系のモデル
現状Animagine XL V3などが有名。解像度が1024×1024になっている為よりクオリティの高い画像が出せる。また、プロンプトの効きが良くなっているためこれから始めるのであればコチラから。ただし、負荷が高くなっているので良いグラボが必要になる。
Prodigyオプティマイザーを使ったLoRA作成
LoRAの作成に関しては今もなお皆試行錯誤中であるかと思います。私のおすすめはkohya_ss gui内のプリセット、SDXL – LoRA AI_Now prodigy v1.0です。メモリー不足の為これをBatch8から2にして使っています。
このプリセットでLoRAを作ると1300~1500steps、RTX4070で1時間ちょっとで学習が終わります(Batch2の場合)。SDXLでは驚異的な速度です。ただ、かなり学習速度が早いぶん変化が激しいので1epochごと等細かく保存したほうが良いです。100stepsしか違わないのに生成結果が全然違います。完成したあとにどれが良いか吟味する感じです。
Prodigyオプティマイザーを使ったLoRAの出来はかなり秀逸
adafactorだと学習に2~3時間かかるのでどうにかして早くできないかな～とProdigyに変更したところ、速さもさることながら出来が素晴らしい。今まで異常にオリジナルをよく学習しつつ、それでいてちゃんとプロンプトも効くのだ。ぜひあなたのPCでその出来を堪能してほしい。
追記
低解像度ソースでProdigyを使うとイマイチになる現象に遭遇しています。adafactorでは良。Prodigyはオリジナルに近づくようにメチャクチャ変えてくるのでそれが原因かも。要調査。
SDXLでは低解像度ソースをそのまま学習OK
懐かしキャラなんかは何かと低解像度が問題になりますが、個人的な実験として低解像度のソースをアップスケールせず、また学習時もアップスケールしない設定で学習しても全く問題ありませんでした。※ちょっとはクオリティは下がります。
低解像度で太い線を学習させても高解像度では細い線になります。画像解像度と線の太さの関係はかなり関係あるので解像度だけにこだわらず、それに対する画面の密度も考えて学習させるべきですね。