工作职责: 推理加速与工程化 (Inference Infra)高性能引擎： 负责基于 vLLM、TensorRT-LLM、SGLang、Triton Inference Server 等推理框架的开发与优化，提升大模型在线服务的吞吐、时延和资源利用率。算子优化： 参与 Transformer 核心算子的开发与性能优化，包括 Attention、KV Cache、量化推理、算子融合等方向，探索 CUDA/Triton 等高性能实现方案。推理架构： 参与构建面向大规模生产环境的推理服务体系，支持高并发、低延迟和高可用的模型服务部署与运维。 工作要求: 面向海内外本硕博在校生 1、技术底色： 计算机相关专业，具有较强的系统编程能力，精通 Python 和 C/C++。 2、计算底层： 熟悉 NVIDIA GPU 架构 (Hopper/Ampere/Blackwall)，理解显存层次结构、流处理器（SM）工作原理。 3、框架经验： 熟悉 PyTorch 等深度学习框架，具有训练或推理性能优化经验者优先；阅读过 Megatron、DeepSpeed、vLLM、TensorRT-LLM 等开源项目源码者优先。 4、并行与分布式计算： 理解并行计算与分布式系统基本原理，了解数据并行（DP）、张量并行（TP）、流水线并行（PP）等常见大模型训练技术，有相关项目经验者优先。 5、网络与硬件：了解 InfiniBand、RoCE 等高速网络技术，以及 NVLink、NVSwitch 等 AI 集群互联架构。

微信扫一扫，及时了解投递状态

您目前还没有登录：立即登录