Project : https://jamessealesmith.github.io/continual-diffusion/

Paper : https://arxiv.org/abs/2304.06027Continual Diffusion: Continual Customization of Text-to-Image Diffusion with C-LoRA

1つのモデルを複数回ファインチューニングすると、catastrophic forgettingが起こる

新しい概念を学習するたびに以前学習した概念を忘れてしまう現象

これに対処するためC-LoRAを提案する

10個の概念を順番に学習させる(画像はそのうち3つの概念で画像生成)

C-LoRA(右下)はそれぞれの概念が混ざらずに学習できている

堀北真希は微妙だけどたぶんSDv1.5のせい

複数の概念を完璧に組み合わせられる

これがすごい

<lora:aaa:0.6><lora:bbb:0.4>のようにゴリ押しもできたけれど、概念が混ざったり合計が1を超えると生成画像が崩れたりした

なにより細かいLoRAモデルが乱立する

なぜC-LoRAはcatastrophic forgettingが起きないのか？

継続的に自己正則化された低ランク適応を行う

自己正則化 : モデルが学習で得た知識を保持するための手法

今までのLoRAと変化するパラメータが被らないようにペナルティを施す

低ランク適応 : LoRAのこと

そうかLow-Rank Adaptationのことか

下手に全文翻訳かけると逆に混乱するな…

カスタマイズのプロンプトに、ランダムな単語を使用

カスタマイズのプロンプトは、C-LoRAによってカスタマイズされる対象のオブジェクトを指定するための入力情報のこと

例えば、「黒い猫の画像を生成してください」といった指示

C-LoRAは、このカスタマイズのプロンプトから、新しい概念を学習し、画像を生成する

モデルが特定の概念に過剰に適合することを防ぐことができる

クロスアテンションレイヤーを使用することで、前の概念と新しい概念の間の類似性を考慮して、画像生成を行う

最後に、continual learningによって、以前の概念と新しい概念の両方を含むデータセットを使用して、モデルを再トレーニングする