generated at
unsloth
50%少ないメモリーで、3倍速くQLoRA学習をする


https://unsloth.ai/blog/phi4Phi-4 Finetuning + Bug Fixes by Unsloth
>Phi-4の精度を大幅に向上させる4つのバグを発見し修正しました。
>Unslothは、Phi-4のファインチューニングを2倍速くし、メモリ使用量を70%削減し、Hugging Face + FA2の12Kに対して48GB GPUで12倍長い>128Kのコンテキスト長を可能にします。
>より高い精度と使いやすさのために、Phi-4をLlamaのアーキテクチャに変換しました。また、修正されたPhi-4 GGUFと動的4ビット量子化をここにアップロードしました。

モデルの量子化・軽量化・軽量で高速な学習と無茶苦茶高速な謎のナマケモノmorisoba65536
調べたら兄弟二人で運営されている会社らしい…

Train your own R1 reasoning model with Unsloth:unslothさんが学習VRAMめちゃくちゃ減らしてくれました(24GBで24Bが学習可能に)