web UIでHypernetworkする(Hypernetwork-MonkeyPatch-Extension編)
Hypernetwork-MonkeyPatch-Extensionを使ったバージョン
>【】内はデフォルト値
🚨は特に注意して設定
0 画像を集める
データの質が正義
なので頑張って集めましょう
Trainタブへ移動
0.5 拡張機能をインストール&設定
Extentionsタブ
https://github.com/aria1th/Hypernetwork-MonkeyPatch-ExtensionHypernetwork-MonkeyPatch-Extensionを使うためにインストールする
Settingsタブ
Training の Saves Optimizer state as separate *.optim file. Training of embedding or HN can be resumed with the matching optim file. に✅中断/再開ができるようになる
Trainタブへ移動
1 空のHypernetworkファイルを作成
📌
Create hypernetwork タブName
これがトリガーワードになる
生成するときはこの名前をプロンプトに書くので、あまり一般的な単語にしないように
Modules【768 / 320 /640 / 1280】
全部に✅で良い？
Enter hypernetwork layer structure【1, 2, 1】
>出力の質が下がるかもしれないし、上がらないかもしれないので、要実験!
Select activation function of hypernetwork. Recommended : Swish / Linear(none)【linear】
Swish/Mishにしても良い
なにかは知らない
Select Layer weights initialization. Recommended: Kaiming for relu-like, Xavier for sigmoid-like, Normal otherwise【Normal】
Add layer normalization【🟩】
意味ないので使うな
Use dropout【🟩】
>Dropoutはニューロンをランダムに消去しながら学習する手法。過学習を抑制する。https://dskjal.com/deeplearning/hypernetwork.html#dropout
✅を入れてもいいかも？
Overwrite Old Hypernetwork【🟩】
同じ名前のHNがあった場合消して新しく作る
👉
Create Hypernetwork 1.5 下準備(任意)
データセットのサイズを整えるなどの下準備をここですることができる
ただし、Hypernetwork-MonkeyPatch-Extensionで追加されたTrain_Gammaを使えば1:1の画像以外でもトレーニングできるので画像サイズの手間は省ける
もしやTIでもこれ使えば編集いらない…？
2 トレーニング
📌
Train_Gamma タブHypernetwork
1で作った空HNを選ぶ
🚨Hypernetwork Learning rate【0.00001】
5e-6(= 0.000005)以下がオススメらしい
Show advanced learn rate scheduler options【🟩】
Show advanced adamW parameter options【🟩】
Show Gradient Clipping Options(for both)【🟩】
Show Noise Scheduler Options(for both)【🟩】
Unload Optimizer when generating preview(hypernetwork)【✅】
🚨Batch size【1】
MonkeyPatch-Extensionでサイズの揃っていない画像を使う場合は1にしないといけないhttps://dskjal.com/deeplearning/hypernetwork.html
Gradient accumulation steps【1】
🚨Dataset directory
データセット画像が入ったフォルダを指定
Log directory
Prompt template file
トレーニングの進み具合の確認のため、画像を生成する
その時に使うプロンプトを書いたtxtファイル
txtmasterpiece, best quality, [filewords], [name]
masterpiece, [filewords], [name]
best quality, [filewords], [name]
[filewords], [name]なんでも良いけれど、用途によって使うであろうプロンプトの設定をしておくと良い
🚨Width / Height【512/512】
1 : 1であることを確認する
それ以外では品質が下がる
Max steps【100000】
Save an image to log directory every N steps, 0 to disable【500】
N回に一回トレーニングしたembeddingsで画像を生成する
うまくいっているかの確認
Save a copy of embedding to log directory every N steps, 0 to disable【500】
Save images with embedding in PNG chunks【✅】
Read parameters (prompt, etc...) from txt2img tab when making previews【🟩】
Shuffle tags by ',' when creating prompts.【🟩】
Drop out tags when creating prompts.【0】
Shuffle tagsと合わせて過学習防止に役立つかもしれない
🚨Choose latent sampling method【once】
deterministicかrandomにすること
randomだとマシンパワーが必要
デフォルトのonceを選んではいけない
Standard deviation for sampling【-1】
loss type【loss】
👉
Train Hypernetwork 2023/2/4
>UnboundLocalError: local variable 'hypernetwork' referenced before assignment
🤔