欢迎访问上海招聘网!本站为上海找工作求职者提供上海人才招聘、上海人才市场、上海人才网等岗位信息!

网站地图
上海招聘网

上海站[切换城市]
  • 职位
    • 公司
    • 职位
  • 上海招聘网 www.shrszp.net 提示:

    确认
    上海招聘网 上海招聘网 > 招聘列表 > 招聘详情 >

    大模型分布式训练引擎研发实习生

    大模型分布式训练引擎研发实习生

    职位月薪:面议

    大模型分布式训练引擎研发实习生

    职位月薪: 面议

    • 岗位类别:
    • 招聘类型: 全职
    • 工作经验: 10年以上
    • 工作地点: 上海市
    • 学历要求: 本科
    • 招聘人数: 1人
      福利待遇:
    • 五险一金
    • 优质平台
    • 法定节假日休息
    • 年终奖

    收藏 收藏 小程序 小程序 岗位分享 微信分享

    聊一聊 和TA聊一聊  投递简历 投个简历

    联系方式

    联系人:行吟信息科技(上海)有限公司

    联系电话:152****5633

    点击查看
    打电话联系前先投递一份简历,面试成功率提高60%!

    (联系我时,请说是在上海易职邦上看到的)

    职位描述

    岗位职责: 工作职责: 1、参与千亿级大模型的分布式强化学习 RL 训练框架研发,提升百卡~千卡级训练吞吐与资源利用率 2、参与 100B以上多模态强化学习算法流程适配(如DAPO等),各领域任务的 RL 正确性验证 3、实验并调优不同并行策略(Tensor/ZeRO/FSDP/Pipeline Parallelism)在超大规模模型上的最佳配置组合 4、协助定位分析分布式训练中的关键性能瓶颈(如GPU利用率低、显存瓶颈、网络通信阻塞、I/O延迟等),设计并实施优化方案进行验证。 5、参与研发/优化训练引擎的关键特性,如大规模集群下的稳定断点续训、高性能异步Rollout机制、以及高性能算子(Kernel)的集成与优化。 任职要求: 任职资格: 1、优秀的代码能力、数据结构和基础算法功底,熟悉Python开发,熟悉 Linux/Git开发环境; 2、有较好的学习能力、沟通协作能力和自驱力,能和团队一起探索新技术,推进技术进步(⭐️有大牛带着成长) 2、熟悉至少一种主流基础深度学习训练框架(TensorFlow/PyTorch/PaddlePaddle等)的使用和实现; 3、了解主流LLM模型结构,使用过至少一种主流LLM训练框架(Megatron-LM/DeepSpeed/veRL等);加分项: 1、熟悉DP/TP/PP/ZeRO等分布式训练策略原理,有大模型训练调优分析经验者优先; 2、熟悉至少一种AI编译加速组件者优先,包含但不限与TorchInductor/TVM/Triton/XLA等; 3、了解并行计算、网络通信、系统优化和集群硬件架构等相关知识者优先; 4、了解 GPU 硬件架构和 GPU 软件栈(CUDA,cuDNN),具备一定的 GPU 性能分析的能力; 5、熟悉NCCL/RDMA/IB/RoCE相关知识者优先; 6、有优秀开源项目经历者优先。

    二维码微信扫一扫,及时了解投递状态
    头像您目前还没有登录:立即登录

    岗位职责: 工作职责: 1、参与千亿级大模型的分布式强化学习 RL 训练框架研发,提升百卡~千卡级训练吞吐与资源利用率 2、参与 100B以上多模态强化学习算法流程适配(如DAPO等),各领域任务的 RL 正确性验证 3、实验并调优不同并行策略(Tensor/ZeRO/FSDP/Pipeline Parallelism)在超大规模模型上的最佳配置组合 4、协助定位分析分布式训练中的关键性能瓶颈(如GPU利用率低、显存瓶颈、网络通信阻塞、I/O延迟等),设计并实施优化方案进行验证。 5、参与研发/优化训练引擎的关键特性,如大规模集群下的稳定断点续训、高性能异步Rollout机制、以及高性能算子(Kernel)的集成与优化。 任职要求: 任职资格: 1、优秀的代码能力、数据结构和基础算法功底,熟悉Python开发,熟悉 Linux/Git开发环境; 2、有较好的学习能力、沟通协作能力和自驱力,能和团队一起探索新技术,推进技术进步(⭐️有大牛带着成长) 2、熟悉至少一种主流基础深度学习训练框架(TensorFlow/PyTorch/PaddlePaddle等)的使用和实现; 3、了解主流LLM模型结构,使用过至少一种主流LLM训练框架(Megatron-LM/DeepSpeed/veRL等);加分项: 1、熟悉DP/TP/PP/ZeRO等分布式训练策略原理,有大模型训练调优分析经验者优先; 2、熟悉至少一种AI编译加速组件者优先,包含但不限与TorchInductor/TVM/Triton/XLA等; 3、了解并行计算、网络通信、系统优化和集群硬件架构等相关知识者优先; 4、了解 GPU 硬件架构和 GPU 软件栈(CUDA,cuDNN),具备一定的 GPU 性能分析的能力; 5、熟悉NCCL/RDMA/IB/RoCE相关知识者优先; 6、有优秀开源项目经历者优先。

    二维码微信扫一扫,及时了解投递状态
    头像您已有可投递的在线简历:点击投递
    简历完成度50%,完善简历才能找到好工作:完善简历

    公司介绍

    企业尚未更新

    工作地点

    地址上海市

    查看地图

    看了此职位的人还会看
    查看更多相似的职位 >>

    公司信息 公司信息

    头像

    行吟信息科技(上海)有限公司

    ecruit_type} 全职

    人力资源服务 人力资源服务

    500-999 500-999人

    北京市;上海市;浙江省,杭州市 北京市;上海市;浙江省,杭州市

    查看所有职位

    公司信息 给我留言

    推荐职位 相关公司推荐

    • 头像

      上海市复旦求是进修学院

      热招6个职位
      查看
    • 头像

      福州宏格达尔信息科技有限公司

      热招1个职位
      查看
    • 头像

      上海乔安贝恩家政服务有限公司

      热招3个职位
      查看
    • 头像

      上海砺墨信息咨询有限公司

      热招1个职位
      查看
    • 头像

      上海勤博集装箱服务有限公司

      热招2个职位
      查看
    二维码

    扫描二维码及时订阅职位

    最新职位信息第一时间知晓

    上海兼职招聘

    • 扫码下载APP

      上海招聘网APP
    • 扫码进小程序

      上海招聘网小程序

    服务信息

    联系电话: 13916151478 杨老师

    服务时间:08:00-18:00

    上海人才招聘 | 上海招聘网 | 上海找工作 | 上海招聘 | 上海人才招聘网

    Copyright 2012-2022 上海招聘网 All Rights Reserved

    详细地址:江西省南昌市青山湖区高新大道万象汇9号楼7楼

    版权所有:江西易职邦网络科技有限公司

    ICP证:赣ICP备2021008707号-3 赣公网安备 36010202000584号

    技术支持:南昌传爱网络科技有限公司

    关注公众号

    服务时间08:00-24:00

    微信公众号

    微信公众号

    招聘交流群

    招聘交流群

    微信小程序

    微信小程序

    微信扫一扫

    面试通知

    收藏

    简历

    足迹

    微信求职

    关注公众号

    掌握最新求职动态

    微信公众号

    小程序

    进入小程序

    随时随地找工作

    小程序