generated at
ReLoRA
https://arxiv.org/abs/2307.05695Stack More Layers Differently: High-Rank Training Through Low-Rank Updates


参考
https://note.com/shi3zblog/n/n17458565e5f6これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場　
>簡単に言えば、「最初の学習(事前学習)の段階からLoRA的に学習すればいいじゃん」というコロンブスの卵のようなアイデアだ。
"We Have No Moat, And Neither Does OpenAI"にもそんなようなことが書いてあったようななかったようなnomadoor