岗位职责： 岗位介绍： 负责米哈游内部模型和 Agent 的智能路由与评测体系，通过可重复的实验判断不同模型适合处理什么任务，并在效果、成本、延迟和可用性之间形成合理的选择策略。 工作内容: 1. 建设规则路由、Embedding 语义路由和模型驱动路由，根据任务类型和模型能力选择合适的模型。 2. 建设模型能力标签、任务分类、路由策略版本和灰度实验机制，使路由结果可解释、可回滚。 3. 搭建模型及 Agent 评测数据集、评分器和回归测试，覆盖代码、工具使用、长程任务及内部业务场景。 4. 对比固定强模型、固定低成本模型和智能路由在成功率、成本、延迟、Fallback 和错路由方面的表现。 5. 分析异常评测结果，区分模型能力变化、数据问题、评分问题和评测基础设施问题。 6. 将离线评测、线上 Trace、用户反馈和生产指标用于模型选型及路由策略迭代。 任职要求： 1. 2027届本科及以上学历，计算机/电子/通信等相关专业。 2. 熟练使用 Python，具备数据处理、实验设计和工程实现能力。 3. 熟悉大语言模型的使用方式，理解 Prompt、Embedding、工具调用和 Agent 的基本原理。 4. 能够将业务需求转化为可执行的评测任务和清晰的衡量指标。 5. 对实验结果保持严谨，能够处理样本偏差、模型波动和自动评分误差。 加分项： 1. 使用过 EvalScope、Inspect AI、Langfuse、Promptfoo 或 OpenCompass。 2. 运行过 SWE-bench、Terminal-Bench、τ-bench、GAIA 等模型或 Agent 评测。 3. 有推荐、搜索、分类、在线实验或成本优化经验。

微信扫一扫，及时了解投递状态

您目前还没有登录：立即登录