GitHub : https://github.com/KohakuBlueleaf/LyCORISLora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion.

Stable Diffusionやその他に対してパラメータ効率的なfine-tuningを行うための異なるアルゴリズムを実装するためのプロジェクト

LoConのブランチからのスタート

実装したもの

★ > ◉ > ● > ▲ means better and smaller size is better

LoHa : LoRA with Hadamard Product representation

左の図が2R個のランク1行列(縦ベクトルと横ベクトルの積)の総和になるのに対し、右の図はRの2乗個のランク1行列の総和になるので同じパラメータ数でランクを大きくできるらしい。

This algo produce very tiny file(about 200~300KB)

ちっちゃ

2.1.0

OFT・BOFT

2.2.0

QLycCORIS with LoHa/LoKr/OFT/BOFT

bitsandbytes8bit/4bit Linear layer

LyCORISモデルといっているけど中身はLoCoNとかLoHAであって、"LyCORIS"という技術で作られたモデルはないっていう認識で合ってるのかな？

リコリス？

GitHubのトップがこれなので、開発者のセンスが爆発してますねｸｫﾚﾊ…

Fate/Zero感