哈希游戏- 哈希游戏平台- 哈希游戏官方网站

　　本文介绍了如何使用 ACK Gateway with AI Extension 组件在云原生环境中实现大语言模型（LLM）推理服务的灰度发布和流量分发。该组件专为 LLM 推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载感知的智能负载均衡能力。通过自定义资源（CRD），如 InferencePool 和 InferenceModel，可以灵活配置推理服务的流量策略，包括模型灰度发布和流量镜像。