Text generation web UI
https://github.com/oobabooga/text-generation-webuioobabooga/text-generation-webui
>Its goal is to become the AUTOMATIC1111/stable-diffusion-webui of text generation.
FlexGenを採用している
>@needle: 大規模言語モデル版のAUTOMATIC1111 WebUIを目指すoogabooga Text-Generation-WebUIでOPT-30B動いた。とりあえず3090でFlexGen無しでも入りきったようで動いてる。返答はめちゃくちゃ遅いけど言語的な破綻はほぼ無い、これが手元で動いてるとか凄いわ（文章と和訳はALT内に） https://t.co/Bxhbw5tkcR
>
