🏠/🦊雑に学ぶComfyUI

前/🦊FreeNoise

次/

ここまでの動画生成は最初のフレームから最後フレームまで同じプロンプトを使っていました

そこで、最初は犬、10フレームからは猫、20フレームからは牛…… のようにプロンプトを変化させていったらちょっと面白そうです

せっかくなのでComfyUIでAnimateDiff × prompt travelをリメイク

🎒prompt travel

🪢カスタムノード

FizzNodesというカスタムノードが使われることの方が多いです

下でそちらのバージョンもやってみます

→ 🦊prompt travel#65b9b6aae2dacc0000d4c088

🟨AnimateDiff + 🦊FreeInit

アニメ系モデルのためmotion moduleはmm_sd_v15_v2です

🟥🟪prompt travel

🟪部はなにも考えずこれが基本形だと思ってください

フレーム数を合わせるのに注意

🟥KfKeyframedConditionWithTextノードにプロンプト書き、直列に繋げていきます

次のKfKeyframedConditionWithTextノードに書かれたプロンプトまで影響を及ぼします

interpolation_methodについては下記

🟪が2つありますね

プロンプトのうち、例えば High quality や simple background 等は動画の最初から最後まで適用させたいです

もちろん、全部のノードに書いても良いのですがあまり美しくありません

0 ~ 48fに適用させたものをCondition CombineやConcatで合体させることで、それらを分離することができます

KfConditioningAddノードを使うのが多分正解

🟪interpolation_method

これは次のプロンプトへどのように変化させるか？を決めるものです

上のworkflowはこんな順番でプロンプトが変化しています

📈の部分がinterpolation_methodで変化する部分

全部 previous にした場合、これをグラフにするとこうです

🚨多分バグですが、複数のノードに全く同じプロンプトが書かれていると正しいグラフになりません。下のグラフはちょっといじっています

16・32フレームでプッツンと切れて次のプロンプトへつながっていますね

では linear にするとどうでしょう？

御覧の通り、いきなり切り替わるのではなく、徐々にプロンプトが入れ替わっていきます

sin 、 sin^2 ではこんな感じ

⚖️比較

previous / linear / sin / sin^2

previousを使ったところで、16フレームと17フレームでいきなり全く別の画になることは仕組み的に多分ありませんが、他の手法だとつなぎ目が綺麗になっているような気がしないでもないですね

🪅もう一歩

linearやsin^2では常にプロンプトが混ざっていてなんだか落ち着かないですね

ノードを増やして、プロンプトが変化しない時間を作ってあげましょう

プロンプトが切り替わるのはプロンプトとプロンプトの間6fのみ

全く上手くいっていないですが、このようにプロンプトを効かせるタイミングをコントロールできます

🐁FizzNodesを使う

ComfyUI-Keyframedだと一つのプロンプトに対して一つのノードが必要でかなりごちゃごちゃしますね

良い点ももちろんありますが、ちょっと面倒くさいので別の手法を見てみましょう

🪢カスタムノード

とてもシンプル

🟪interpolation_methodのlinearやsinはできないこともないですが、ちょっとかなり分かりづらいです

使うノードを間違えていました

AnimateDiffではPromptScheduleノードではなく、BatchPromptScheduleノードを使う

全部の時間のプロンプトが混ざっている気がする

正直動画を作るにはUIも技術も貧弱なので、今はあまり頑張らず、タイムラインが開発されたり技術革新が起きたりするのを待っても良いと思いますね

技術革新の鐘の音が聞こえる……(2025/1/15)