🏠/🦊雑に学ぶComfyUI

前/🦊AnimateDiff

次/🦊AnimateDIff_ControlNet

一番シンプルな形のvideo2videoはAnimateDiffの基本形を🦊image2imageに変えるだけです

🦊ComfyUIでやってみる

動画 : https://www.pexels.com/ja-jp/video/9140345/

🟪VHS_LoadVideoノードで動画を読み込み、image2imageのようにVAEEncodeにつなげます

注意点として、mp4をRGB画像に書き出すのでメモリをバカ食いします

force_rate (fps)を8にし、 force_size でリサイズ、 frame_load_cap で32フレームのみロードするようにするなど工夫して軽くします

🟩 frame_rate は、上の force_rate と同じ値にしたほうが良いでしょう

😶‍🌫️inpainting

ペンギンだけにvideo2videoさせたらおもしろそうです

一枚一枚マスクを書いてもいいですが、ここはGrounded-Segment-Anythingを使いましょう

カスタムノード

🟦ペンギンをマスクし、SetLatentNoiseMaskノードにつなぎます

とりあえずvideo2videoはできましたがなんだかフラフラしていて安定感がないですね

image2imageなのでdenoiseを上げれば自由度は上がりますが、その分元の画像の情報が薄れていきます

特に回転している人の動画なんかは前と後ろが分からなくなりクィレル先生みたいになります

ということで次はControlNetによる制御を追加してみましょう

→ 🦊AnimateDIff_ControlNet