vLLM Project

该作者在本站收录的开源项目,涵盖所有技术分类和项目状态。

3 项目

vLLM

面向大模型的高吞吐、内存高效推理与服务引擎。

Stars --最近提交 --

vLLM Production Stack

一个为 vLLM 提供 Kubernetes 原生集群部署与性能优化的参考系统。

Stars --最近提交 --

vLLM-Omni

一个为文本、图像、视频与音频等多模态模型提供高性能、低成本推理与服务的框架。

Stars --最近提交 --