vLLM

vLLM：开源大模型推理与服务框架，提供部署、接口及性能优化文档。

vLLM官网设有「User Guide」、「Developer Guide」、「Benchmarking」、「API Reference」、「CLI Reference」、「社区」、「Quickstart」、「Installation」等栏目。

官网还列有「API Server」等专题入口。