DiffSensei
https://github.com/jianzongwu/DiffSenseijianzongwu/DiffSensei
https://arxiv.org/abs/2412.07589DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation
既存のstory visualizationは一貫したキャラクター生成や物語に合わせたレイアウトを変更することができない
既存のSubject-Driven Image Generationはコピペ効果を生み出す傾向がある
キャラクターの特徴だけでなく参照画像上の向き・ポーズ等まで受け継いでしまう
マンガ生成のための新しいタスク
cf. MangaDex
DiffSensei
キャラクター特徴量抽出
CLIP & マンガ専用であるMagi
>マンガパネル内の各キャラクターが割り当てられた領域（バウンディングボックス）内でのみ特徴を参照できるようにすることで、効率的かつ正確なレイアウト制御を実現します。
e.g.
>
