1. 具备扎实的软件工程、计算机系统、机器学习、统计学或相关领域基础； 2. 熟练掌握 Python、Go、Node.js 或其他至少一种编程语言，具备良好的工程开发、系统设计和问题排查能力； 3. 熟悉大语言模型及智能体技术，具备以下一个或多个方向的实际经验：大模型评测与 Benchmark、LLM-as-a-Judge 或自动评分器、评测数据集或合成数据构建、工具调用型智能体、多智能体工作流、长上下文或长周期任务、模型效果监控与回归评测； 4. 能够将模糊、开放的模型行为问题拆解成具体、可执行、可复现的评测实验，并根据数据得出结论； 5. 具备分布式系统、API、数据处理流水线或后端平台的设计与开发经验； 6. 熟悉模型评测的基本方法，能够独立设计测试集、评分标准、评测指标和回归验证方案； 7. 重视评测结果的可靠性和可解释性，能够识别数据污染、评分偏差、统计噪声和评测集饱和等问题； 8. 既关注 Benchmark 指标，也关注模型在真实场景中的实用性、可靠性、诚实性和交互体验； 9. 具备较强的自主性，能够在目标或实现路径尚不明确的情况下推进项目落地； 10. 具备良好的分析、沟通和文档表达能力，能够清晰说明评测方法、实验结果和优化建议。加分项● 独立构建过大模型 Benchmark、评测集或自动评分系统；● 开发过智能体任务环境、评测 Harness 或沙箱执行系统；● 具备大规模评测平台、实验平台或模型监控系统建设经验；● 熟悉 Prompt、Sampling 和 Agent Scaffolding 对评测结果的影响；● 熟悉统计实验设计、方差分析、置信区间和显著性检验；● 有可观测性、回归检测或实验追踪系统经验；● 有大规模数据集构建、清洗、标注和质量控制经验；● 对工具调用、计算机操作、多智能体或长周期智能体有深入实践。典型项目● 从零构建一套复杂智能体能力评测，包括任务环境、数据集、评分器和分析看板。● 建设持续评测平台，在模型、Prompt 或智能体版本发生变化时自动执行回归测试。● 定位评测指标异常，判断问题来自模型、数据、评分器还是评测基础设施。● 构建工具调用或复杂任务的沙箱环境，验证评测结果的稳定性和可复现性。● 建设 Golden Dataset、漂移监控和失败案例库，持续推动模型与产品迭代。

微信扫一扫，及时了解投递状态

您目前还没有登录：立即登录