generated at
GPTQ
量子化の方法を学習することでより適切な4ビット量子化を実行する

> GPTQ は GPU 専用の特定の形式です。 GGML は CPU および Apple M シリーズ向けに設計されていますが、GPU 上の一部のレイヤーをオフロードすることもできます
> GPTQはCUDA特化型

TheBlokeさんがいくつか変換したモデルを投稿している
いくつかなんてレベルじゃなくなってきてるなwogikaze