岗位职责： 1. 负责大模型推理服务的部署、发布、扩缩容、回滚和下线，建设包含模型文件、配置、镜像及依赖版本的标准化交付流程，完善容量校验、预热和上线验证。 2. 建设模型服务可观测体系，围绕可用性、错误率、请求延迟、首 token 延迟、输出速度、吞吐量及排队情况制定 SLI、SLO 和告警策略，持续治理监控盲区与告警噪声。 3. 负责生产模型服务稳定性，参与值班、故障止损、流量切换和跨团队应急；主导服务侧复盘并推动改进项闭环。 4. 结合流量、输入输出长度、模型规格和推理并行方式开展容量规划，保障新模型上线及流量突增场景的服务能力。 5. 在服务目标和资源隔离要求下，优化实例规格、副本数量、弹性伸缩和请求路由，提升吞吐与资源效率，治理闲置副本和过度预留。 6. 与 GPU 集群 SRE、模型研发及业务团队共同定位模型加载、推理性能和底层资源问题，将常见处置流程沉淀为自动化工具与SOP。 任职要求： 1. 本科及以上学历，相关实践经验可替代学历要求。 2. 具备 SRE、平台工程、云原生或分布式在线服务的生产经验；有大模型或其他在线推理服务运维实践。 3. 熟悉 Linux、容器、Kubernetes、服务发现、负载均衡和弹性伸缩，能够独立定位生产服务问题。 4. 理解至少一种推理服务框架的部署和运行方式，能排查模型加载失败、显存不足、请求积压及性能下降等问题。 5. 熟悉 Prometheus、Grafana、日志和链路追踪，能够设计服务指标、告警和故障排查路径。 6. 熟悉 Python、Go 等至少一种语言，能够开发运维工具；理解 SLI/SLO、故障响应、复盘及容量规划。 7. 具备跨团队协作能力，能够参与生产值班和故障应急。 加分项： 1. 熟悉 vLLM / SGLang 等推理引擎的指标体系与常见故障模式。 2. 理解连续批处理、KV Cache、量化、模型并行及请求路由，并有实际性能调优经验。 3. 有多地域服务容灾、GPU 资源成本分析或单位推理成本优化经验。

微信扫一扫，及时了解投递状态

您目前还没有登录：立即登录