GGUF
GPT-Generated Unified Format
GGML/GGMF/GGJTの後継
互換性あり
safetensorsとの違い
標準化されたmetadataセットも含まれる
参考
>GGML、GGMF、GGJTの後継ファイルフォーマットであり、モデルを読み込むために必要なすべての情報を含むことで曖昧さをなくすように設計されています。 また、互換性を壊すことなく新しい情報をモデルに追加できるように、拡張可能なように設計されています。
https://www.theregister.com/2024/07/14/quantization_llm_feature/Honey, I shrunk the LLM! A beginner's guide to quantization – and testing it
最近はFluxとかのモデルをGGUFにしたりと画像生成でも見かけることが増えた
拡散モデル用にカスタマイズされたDDUFというのがあるらしい
モデルによっては量子化モデルしか配布してないからマージできない…ってことがあって困ったので量子化解除(dequantize)スクリプトを書いた。
現状メタデータがうまく取り出せずなんか変な文字列が書き込まれたり課題は有り…