欢迎访问上海招聘网！本站为上海找工作求职者提供上海人才招聘、上海人才市场、上海人才网等岗位信息！
职位月薪： 面议
岗位职责： 1、针对多种数据源（包括GitHub代码库、网页爬取的code以及通用文本数据）设计并实现代码及通用数据清洗pipeline。 2、开发并迭代基于LLM的数据过滤策略，以提高预训练语料库的数据质量。 3、开发、维护并优化数据pipeline，确保其在大规模场景下的性能和可靠性。 任职要求： 1、精通大规模数据处理框架，如Apache Spark或Ray。 2、扎实的Python编程能力，熟悉分布式计算。 3、数据sense强，能够分析并处理不同代码和文本语料中的边界情况。 加分项： 1、具有预训练数据处理pipeline的经验，特别是code数据方面。 2、具备vLLM或SGLang等LLM推理框架的实际使用经验。
微信扫一扫，及时了解投递状态
您目前还没有登录：立即登录岗位职责： 1、针对多种数据源（包括GitHub代码库、网页爬取的code以及通用文本数据）设计并实现代码及通用数据清洗pipeline。 2、开发并迭代基于LLM的数据过滤策略，以提高预训练语料库的数据质量。 3、开发、维护并优化数据pipeline，确保其在大规模场景下的性能和可靠性。 任职要求： 1、精通大规模数据处理框架，如Apache Spark或Ray。 2、扎实的Python编程能力，熟悉分布式计算。 3、数据sense强，能够分析并处理不同代码和文本语料中的边界情况。 加分项： 1、具有预训练数据处理pipeline的经验，特别是code数据方面。 2、具备vLLM或SGLang等LLM推理框架的实际使用经验。
企业尚未更新
上海市
扫描二维码及时订阅职位
最新职位信息第一时间知晓
上海兼职招聘
快速入职
隐私保护
薪资透明
信息可靠
手机找工作
360行任你挑选
分秒必争直达HR
谁看我简历早知道
请使用微信【扫一扫】
关注「上海易职邦招聘」公众号完成登录
客服电话：400-765-0056
竭诚为您服务
服务时间08:00-24:00
微信公众号
招聘交流群
微信小程序
面试通知
收藏
简历
足迹
微信求职
关注公众号
掌握最新求职动态
小程序
进入小程序
随时随地找工作
收藏
已收藏
小程序
微信分享
和TA聊一聊
投个简历
您已有可投递的在线简历：
公司信息
全职 
人力资源服务 
500-999人
上海市;北京市 
给我留言
相关公司推荐
赣公网安备 36010202000584号