岗位职责： 负责 AI 模型在多硬件平台的生产级推理部署、性能调优与稳定性保障，与算法团队紧密协作，输出最优部署方案。 核心职责： 1. 模型部署：负责 LLM、CV、语音等多类模型的推理服务化部署，覆盖 NVIDIA（CUDA / TensorRT）、AMD（ROCm） 及国产卡（昇腾 CANN、寒武纪、燧原、摩尔线程等） 硬件平台。 2. 推理引擎选型与调优：能基于业务场景（吞吐 / 时延 / 成本）对比 TensorRT、vLLM、Triton、SGlang 等引擎，输出选型与调优方案。 3. 性能建模与分析：基于 Roofline 模型、计算 / 访存比、并行策略、KV Cache、Continuous Batching 等进行量化分析，定位瓶颈并给出优化建议。 4. Benchmark 体系：搭建离线 / 在线压测与回归测试框架，输出量化评估报告。 5. 线上稳定性：推理服务监控、告警、异常排查与性能回归治理。 6. 跨团队协作：对接算法团队，理解模型结构、算子特性与精度约束，将工程约束前置反馈到模型设计与训练环节。 任职要求： 1.有2年以上推理部署或 AI 性能优化经验。 2.熟悉至少 2 种主流推理引擎（TensorRT / vLLM / Triton / SGlang 等）的原理与调优手段。 3.熟悉 NVIDIA GPU 生态（CUDA、cuDNN、TensorRT、NCCL），了解其架构演进（A100 → H100 → B200 等）。 4.了解 AMD ROCm 或国产 NPU 至少其一的演进路径、算子支持与生态现状。 5.有开源大模型（LLM / 扩散模型 / 多模态） 部署优化实战经验。 6.扎实的性能建模能力：能基于 FLOPs、带宽、显存、Batch Size、Sequence Length 等参数进行数学推导与方案设计。 7.熟练使用 Linux、容器化（Docker / K8s）、网络、性能分析工具（nsight、nvprof、perf、bpf 等）。 加分项： 1.有推理框架二次开发或开源社区贡献（PR、Issue、博客）。 2.熟悉量化（INT8 / FP8 / INT4 / GPTQ / AWQ）、剪枝、Speculative Decoding、PagedAttention 等优化技术。 3.熟悉模型并行（TP / PP / EP / SP）策略与分布式推理。 4.有训练-推理全链路经验（Megatron、DeepSpeed 等）。 5.良好的文档输出与跨团队沟通能力。

微信扫一扫，及时了解投递状态

您目前还没有登录：立即登录