欢迎访问上海招聘网!本站为上海找工作求职者提供上海人才招聘、上海人才市场、上海人才网等岗位信息!


职位月薪: 面议
【岗位职责】 1.负责数据接入体系的建设与维护,支持多源异构数据(API、数据库、日志、IoT、文件流等)的采集与接入; 2.设计并实现数据采集流程,包括接口对接、任务调度、增量/全量采集与数据清洗; 3.构建统一的数据接入规范,确保数据传输的稳定性、准确性和安全性; 4.维护数据采集链路的监控与预警,保障实时数据与批量数据的高可用性; 5.参与建设数据平台,推动数据采集与数据治理、资产管理的打通; 6.协同合规、安全团队,确保数据采集与跨境传输符合相关法律法规(如《数据安全法》、《个人信息保护法》); 7.总结沉淀数据采集方法论,提升采集自动化与可复用能力。 【任职条件】 1.本科及以上学历,计算机、软件工程、数据科学等相关专业; 2.2年及以上数据采集、数据开发或接口集成相关经验; 3.熟悉常见数据接入与采集工具(如Flume、Logstash、NiFi、DataX等),具备API/SDK开发与使用经验; 4.熟悉消息队列与数据流系统(Kafka、Pulsar、RabbitMQ等),理解实时数据采集与流处理原理; 5.精通SQL,掌握Python/Java/Shell等语言,能编写数据采集脚本与接口逻辑; 6.具备数据质量与安全意识,能在采集环节控制数据完整性与合规性。 【优先条件】 -有交通物流、IoT、供应链场景的数据采集与对接经验; -主导过跨系统/跨组织的数据接入平台建设; -熟悉数据湖、实时数仓等架构; -熟悉跨境数据合规与安全传输方案。
微信扫一扫,及时了解投递状态
您目前还没有登录:立即登录【岗位职责】 1.负责数据接入体系的建设与维护,支持多源异构数据(API、数据库、日志、IoT、文件流等)的采集与接入; 2.设计并实现数据采集流程,包括接口对接、任务调度、增量/全量采集与数据清洗; 3.构建统一的数据接入规范,确保数据传输的稳定性、准确性和安全性; 4.维护数据采集链路的监控与预警,保障实时数据与批量数据的高可用性; 5.参与建设数据平台,推动数据采集与数据治理、资产管理的打通; 6.协同合规、安全团队,确保数据采集与跨境传输符合相关法律法规(如《数据安全法》、《个人信息保护法》); 7.总结沉淀数据采集方法论,提升采集自动化与可复用能力。 【任职条件】 1.本科及以上学历,计算机、软件工程、数据科学等相关专业; 2.2年及以上数据采集、数据开发或接口集成相关经验; 3.熟悉常见数据接入与采集工具(如Flume、Logstash、NiFi、DataX等),具备API/SDK开发与使用经验; 4.熟悉消息队列与数据流系统(Kafka、Pulsar、RabbitMQ等),理解实时数据采集与流处理原理; 5.精通SQL,掌握Python/Java/Shell等语言,能编写数据采集脚本与接口逻辑; 6.具备数据质量与安全意识,能在采集环节控制数据完整性与合规性。 【优先条件】 -有交通物流、IoT、供应链场景的数据采集与对接经验; -主导过跨系统/跨组织的数据接入平台建设; -熟悉数据湖、实时数仓等架构; -熟悉跨境数据合规与安全传输方案。
企业尚未更新
上海-浦东新区
扫描二维码及时订阅职位
最新职位信息第一时间知晓
上海兼职招聘
360行任你挑选
分秒必争直达HR
谁看我简历早知道
请使用微信【扫一扫】
关注「上海易职邦招聘」公众号完成登录
客服电话:400-765-0056
竭诚为您服务
服务时间08:00-24:00
微信小程序
面试通知
收藏
简历
足迹
微信求职
关注公众号
掌握最新求职动态
小程序
进入小程序
随时随地找工作