generated at
vLLM

LMSYS ORG開発

https://vllm.ai/ブログ/仕組み
>vLLMはHFと比較して最大24倍、TGIと比較して最大3.5倍のスループットを達成した。


参考

もしかして:vlm