generated at
Imagicで遊ぶ
Imagicで遊ぶ
30GB VRAM版 https://github.com/justinpinkney/stable-diffusion/blob/main/notebooks/imagic.ipynb
>This implmentation requires a GPU with ~30GB of VRAM, I'd recommend an A100 from Lambda GPU Cloud which will take a little over 5 minutes to process a single image.
11GB VRAMで動く版 https://github.com/ShivamShrirao/diffusers/tree/main/examples/imagic
無料版Colabだと512x512の画像がTesla T4での学習中にout of memoryになった
>(GPU 0; 14.76 GiB total capacity; 4.50 GiB already allocated; 26.75 MiB free; 4.53 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
> Traceback (most recent call last):
Tesla T4, 15109 MiB（total）, 5981 MiB（free）だった
15GBあるけどなんで実行できない？（というか10GBどこにいったの）
Lisa版
11GB VRAMで動く版がベース
作者がキャラクター生成をやっているようなのでそっち向けの機能が期待できる
コメントに作者の知見が書き込まれている
>@LisaDQX: 画像加工のAIツール、Imagic Stable Diffusionを使えるGoogleColabノートブック公開しました！同じキャラの差分パターン作成や、一部だけ絵を加筆・修正したりするのに使えるかもです ＃StableDiffusionKawaii ＃WaifuDiffusion
>https://colab.research.google.com/drive/10HV7FdKm9js9YXuF_XSun_bx59xp6ywj?usp=sharing
>

方針
Colabに課金する
Colabをローカルマシンで走らせる
Colabのコードをローカルマシンでやってみたことがないのでこっちを試してみる

Imagicをローカルマシンで実行する

感想
1キャラの差分をこまかくつくっていくときには便利かも
ただしRTX3090でも512x512の学習に11分かかるので、プロンプトの試行錯誤は素早くはできない
たとえばエロ画像生成などではシチュエーションごとに必要な差分が同じであり、プロンプトが決まってしまえば同じキャラクターに対して手早く差分を作るということができるようになるかもしれない
これはimagicを使わなくても実は工夫でできることもあるのだが...
公開Scrapboxはエロ要素をおけないので解説できない
FANBOXとかでやったら需要あるのかな...？