该作者在本站收录的开源项目,涵盖所有技术分类和项目状态。
3 项目
面向大模型的高吞吐、内存高效推理与服务引擎。
一个为 vLLM 提供 Kubernetes 原生集群部署与性能优化的参考系统。
一个为文本、图像、视频与音频等多模态模型提供高性能、低成本推理与服务的框架。
没有匹配的项目