KIKinference
面向 Kubernetes 和 vLLM 的推理控制平面，在多个推理端点之间进行选择，并应用策略、路由和负载均衡。通过监听 vLLM KV-cache 事件和引擎指标做出放置决策。
Kinference-AI (Buoyant)
该作者在本站收录的开源项目，涵盖所有技术分类和项目状态。
1 项目
KIKI该作者在本站收录的开源项目，涵盖所有技术分类和项目状态。
1 项目
KI面向 Kubernetes 和 vLLM 的推理控制平面，在多个推理端点之间进行选择，并应用策略、路由和负载均衡。通过监听 vLLM KV-cache 事件和引擎指标做出放置决策。