岗位职责： 构建多模态大模型“感知-推理-交互”的全链路能力，定义小红书下一代多模态智能基座。你将主导多模态大模型从持续预训练（CPT）、中期训练（Mid-training）、监督微调（SFT）、强化学习（RL）到在线策略蒸馏（OPD / MOPD）的全流程训练与架构演进，并赋能点点、搜索、广告、推荐、电商、智能创作等业务场景。1、CPT & Mid-training：负责 VLM 的持续预训练与中期训练，注入垂域知识、缓解灾难性遗忘，通过原生分辨率、长上下文扩展与数据配比（Data Mixing）夯实模型基础能力；2、SFT & Alignment：负责 VLM 的 SFT 与高质量多模态指令数据构建，治理模型幻觉，提升指令遵循鲁棒性；3、Reasoning & RL：主导 VLM 的强化学习流程，并构建多模态 Reward Model，探索 Long-thought 推理范式，提升复杂视觉、数学、逻辑及长视频序列下的深度推理能力；4、OPD & MOPD：在 RL 之后引入在线策略蒸馏，与多专家在线策略蒸馏，将多个专家模型能力高效融合蒸馏至统一基座，兼顾多任务能力与推理效率； 5、超长视频理解：研发高效的长视频编码、视觉 Token 压缩与时空注意力机制，优化多帧推理效率，挖掘视频与直播流的时序及交互语义； 6、多模态 Agent：研发具备视觉反馈与自我修正能力的智能体，构建 VLM 工具调用与任务规划、执行、验证闭环。 任职要求： 1、本科及以上学历，计算机、人工智能、数学等相关专业； 2、深入理解 Transformer 架构与大模型训练全流程（CPT / Mid-train / SFT / RL / OPD），熟悉主流 VLM 架构（如 LLaVA、Qwen-VL、InternVL 等）； 3、在大规模预训练、CPT、Mid-training、SFT、RL、在线策略蒸馏（OPD / MOPD）、MLLM 推理优化、视觉对齐或视频理解等方向有深入研究或落地经验； 4、精通 PyTorch，熟悉 Megatron-LM、DeepSpeed 等分布式训练框架，具备百亿/千亿级参数模型的大规模训练经验，熟悉 veRL、OpenRLHF 者优先； 5、对多模态数据的构建、清洗及 Data Mixing 策略有独特见解，理解各训练阶段的数据需求差异； 6、熟悉主流多模态评测集，能构建垂直领域 Benchmark，并以评测结果反向驱动数据与算法迭代。【加分项】： 1、在 CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR、ACL 等顶会发表过高影响力论文，或在知名开源多模态项目中有核心贡献。

微信扫一扫，及时了解投递状态

您目前还没有登录：立即登录