generated at
3D video to 2D video
> (Unity, ComfyUI, Krita, Shoost)
>まず背景を作るためにUnityでオブジェクトを配置して画面をキャプチャ
> アングルその他が決まったら自販機の写真を撮りに行く
>→写真から線画情報のみを取り出し簡略化したうえで縮尺、配置を変更、オブジェクトを書き足す
> 次にキャラの動きを決めて、スマホの前で自分で演技して動画に収める
>→物体検知系のノードを使って等身を変更(前投稿した雪のミクちゃんで試した方法)
>→Openposeでv2v(全フレをプロンプトで補助、表情変更もプロンプト。普通に数千文字になるのでカウントアップや修正など単純な作業は全部GPTに投げる)
> 背景とキャラをShoostでコンポジット(光源はkritaで素材作成)
>→レンダリング→kritaでレタッチ→Upscale→kritaでレタッチ
MMDアニメを2Dアニメに
>全身が映ってるポーズ推定のやりやすい動画なら、一度3Dモデルを介することで高い精度を達成できることが分かった。
>Novel AIだけで、動画作ると画像ごとの関連性がないのでグリッチ感が否めなかったのだけども、「Few-Shot-Patch-Based-Training」で学習させたら、良い感じ!
>i2iの弱点である、表情や髪型、服装に一貫性がない問題を修正しつつ、3Dの躍動感と2Dの可愛さを出来たぞ。
>プロンプトエンジニアリングを頑張れば伸びしろはまだまだあるだろうけど、いったんそれは後回し→