岗位职责： 1. 负责 AI 模型推理服务的工程化部署和生产环境稳定性保障，覆盖 LLM、CV、语音、多模态等模型服务。 2. 负责推理平台能力建设，包括模型发布、服务编排、灰度发布、回滚、弹性扩缩容、流量治理、实例管理和资源隔离。 3. 基于 Docker、Kubernetes、Triton、vLLM、SGLang 等技术栈，推动模型服务标准化、自动化和平台化。 4. 建设推理服务监控、日志、告警、压测和性能回归体系，保障线上服务 SLA 和性能稳定性。 5. 负责推理服务线上问题排查与稳定性治理，包括资源异常、服务超时、性能抖动、显存不足、实例异常等问题定位。 6. 与算法、SRE、基础设施和业务团队协作，支持模型从实验环境到生产环境的落地。 任职要求： 1. 有 2 年以上后端开发、平台工程、AI 基础设施、MLOps 或推理服务部署经验。 2. 熟悉 Linux、Docker、Kubernetes、网络、负载均衡、服务发现等基础设施能力。 3. 熟悉至少一种推理服务框架或部署方式，如 Triton、vLLM、SGLang、TensorRT-LLM、FastAPI/gRPC 推理服务等。 4. 熟悉 GPU 服务器和容器化运行环境，了解 NVIDIA Driver、CUDA、Container Runtime、NCCL、显存管理和 GPU 监控。 5. 具备服务稳定性建设经验，熟悉监控告警、日志分析、压测、容量评估、灰度发布、故障应急和复盘机制。 6. 熟练掌握 Go/Python/Shell 至少一种语言，能够开发平台模块、自动化工具或运维脚本。 7. 具备较强的问题定位和跨团队协作能力，能支持算法模型从实验环境到生产环境的稳定落地。 加分项： 1. 有 AI 推理平台、模型服务平台、MLOps 平台或在线推理系统建设经验。 2. 熟悉 Prometheus、Grafana、Loki、ELK、OpenTelemetry 等可观测体系建设。 3. 有 Kubernetes GPU 调度、NVIDIA Device Plugin、MIG/MPS、RDMA/RoCE/NCCL 相关经验。 4. 有多模型混部、弹性扩缩容、流量调度、资源利用率优化或成本治理经验。 5. 有公有云或私有云 GPU/NPU 资源池运维经验。

微信扫一扫，及时了解投递状态

您目前还没有登录：立即登录