SparseCtrl
https://github.com/guoyww/AnimateDiff#202312-animatediff-v3-and-sparsectrl
[2023.12] AnimateDiff v3 and SparseCtrlhttps://arxiv.org/abs/2311.16933SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models
毎フレームではなく、1もしくは少しのフレームに対して条件を与えるのみで動画生成を制御する(temporally sparse signals)
ControlNetとの比較
>vanilla ControlNetは、ノイズの入ったサンプルと条件を加算して、UNet Encoderに入力します。
>sparse condition encoderは、ノイズの入ったサンプルを除去し、条件とマスクを結合して入力します。