岗位职责与要求:
1. 参与开发优化大模型训练框架,支持单任务万卡以上规模高效稳定训练;
2. 参与 NLP、多模态大模型结构设计,并联合业务进行模型训练效率和效果验证;
3. 参与文生图、文生视频(DiT)、文生3D等业务的训练性能加速;
4. 参与低精度训练(FP8/Int8)性能优化、大窗口(Long Context)训练性能优化及业务推广。1. 熟练使用 PyTorch,具备 DDP/FSDP 性能分析与优化能力;
2. 深入理解 DeepSpeed、Megatron 等框架,掌握 3D 并行、ZeRO 机制、Flash-Attention 的原理与优化方向;
3. 有 ViT、Stable Diffusion、DiT 模型训练优化经验者优先;
4. 熟练掌握 CUDA/Triton 性能优化,有算子编写经验者优先;
5. 对大模型前沿技术敏锐,有实际调参、效果评测经验。

微信扫一扫,及时了解投递状态
岗位职责与要求:
1. 参与开发优化大模型训练框架,支持单任务万卡以上规模高效稳定训练;
2. 参与 NLP、多模态大模型结构设计,并联合业务进行模型训练效率和效果验证;
3. 参与文生图、文生视频(DiT)、文生3D等业务的训练性能加速;
4. 参与低精度训练(FP8/Int8)性能优化、大窗口(Long Context)训练性能优化及业务推广。1. 熟练使用 PyTorch,具备 DDP/FSDP 性能分析与优化能力;
2. 深入理解 DeepSpeed、Megatron 等框架,掌握 3D 并行、ZeRO 机制、Flash-Attention 的原理与优化方向;
3. 有 ViT、Stable Diffusion、DiT 模型训练优化经验者优先;
4. 熟练掌握 CUDA/Triton 性能优化,有算子编写经验者优先;
5. 对大模型前沿技术敏锐,有实际调参、效果评测经验。

微信扫一扫,及时了解投递状态
简历完成度50%,完善简历才能找到好工作:
完善简历