バーチャルクリエーター
最近夜な夜なOpenCVとDlibとUnityでアリカさんをWebカメラで動かせないかと頑張っていた
2018/10/2
結果↑こんなのができた
グリーンバックなのはあとでクロマキー合成するため
ストリーム配信メモでもあるようにVTuber的にクリエイト作業をアバターで配信する時代が来るのではないか？
ストリーム配信だとどうしても間延びしてしまうので再編集動画にしたほうがいいかもしれない
正直手の動きはそれっぽければいいというかリアルな動きだと速すぎて見栄えが悪いから後付でいいかもしれない
ペンの動きはマウス位置を平面にマッピングして、FinalIKで動かしている
顔の位置や瞬きなどの認識結果はDlibとOpenCVで取得して別プロセスからUDPでUnityに投げている
これは後で別記事にまとめる
特別なハードウェアを使わずにVTuber的なことを実現できるか頑張ってみたけど、出来なくはないという感触を得た
MacだとFaceRigを使えないから自分で頑張ったのだけど、むしろ柔軟にいろいろ工夫できることがわかった
とはいえ本格的なモーションキャプチャーシステムを使ったらどんな画ができるのかもためしてみたいという欲求もある
PERCEPTION NEURONとか買えなくはない値段ではある
しかしそれで一体何をするのかというと微妙である
ボイスロイド的な合成音声をプログラムからもっと簡単に使える手段はないのかなぁ
ボイスロイドもWindows専用だしゲーム関連の開発環境はほんとMac受難だわ