岗位职责： 1.统一模型服务入口建设：OpenAI 兼容协议网关（/v1/chat/completions、SSE 流式、Function Calling、API 版本管理）、API Key 全生命周期管理与多租户鉴权、配额与计量； 2.智能路由与流量治理：基于实时推理指标（并发数、排队长度、KV Cache 水位、TTFT/TPOT、前缀命中率）的动态路由，替代简单轮询与随机；Token 级限流、请求排队与超时控制、Fallback 降级链、跨云故障切换与重试； 3.请求亲和调度：基于 Prefix Cache / 会话粘性的亲和路由，最大化缓存命中率、降低首 Token 延迟 多模型协同编排：一次交互串联多个模型时的级联调度与端到端 SLO 保障； 4.弹性伸缩与 PD 分离：面向推理负载特征的 HPA/KPA、Scale-to-Zero 与冷启动优化；Prefill-Decode 分离架构下的实例编排与流量拆分； 5.推理服务的内容安全与合规能力接入：输入注入防护、输出审核、PII 脱敏 任职要求： 1.本科及以上学历，计算机相关专业，5 年以上后端 / 网关研发经验，精通 Go 或 Python，具备高并发服务设计与调优的生产经验； 2.深入理解 LLM 推理技术栈（vLLM / SGLang / TensorRT-LLM 等），了解 KV Cache、Continuous Batching、Prefix Cache 的机制与代价 3.具备智能路由与调度系统的落地经验：负载均衡、动态分流、请求亲和、限流熔断降级，能基于推理侧真实指标做路由决策 熟悉 Kubernetes 生态与网关 / 服务网格（Envoy、APISIX、Higress、Kong 等其一）； 4.具备安全合规意识，有 API Key 鉴权、租户隔离、限流降级落地经验 加分项： 1.熟悉或参与过 llm-d、AIBrix、Envoy AI Gateway、NVIDIA Dynamo、vLLM production-stack、SGLang Router、KServe 等 LLM 推理路由 / 调度框架 2.有 PD 分离（Prefill-Decode Disaggregation）、Prefix Cache 亲和路由、Scale-to-Zero 的生产落地经验 有多云 / 多集群、异构卡型混合调度经验 有 Serverless 推理平台建设经验

微信扫一扫，及时了解投递状态

您目前还没有登录：立即登录