数据爬虫开发工程师 上海 全职 研发 职位描述 1、遵循robots协议，负责爬虫和反爬能力的建设与优化，满足各类业务数据需求。2、负责爬虫系统的任务调度，数据抓取、解析，大数据平台存储等全流程优化。3、利用大模型和正则技术解决网页信息抽取难题，提升目标数据的抓取效果与性能。 职位要求 1、本科及以上学历，2年以上爬虫抓取采集相关工作经验。2、熟悉主流爬虫技术和框架，如Selenium/Puppeteer/Scrapy/PhantomJS等。3、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力。4、熟悉常见反爬封禁策略，并具备相关的实战经验。5、有良好的逻辑思维性，有良好的抗压能力和自驱能力。 投递...
后端开发工程师（数据产品方向） 深圳 正式 研发 - 数据 27届秋招（研发类） 职位描述 1. 参与数据产品后端设计与实现，学习并实践数据架构、系统架构相关能力；2. 根据数据和系统架构设计，参与数据采集、服务开发及线上维护全流程工作；3. 参与爬虫系统的任务调度、数据抓取与解析、大数据平台存储等模块的开发与优化。 职位要求 1. 学历要求：本科及以上学历，计算机、软件工程及相关专业；2. 爬虫技术：了解主流爬虫技术和框架，如 Selenium / Puppeteer / Scrapy / PhantomJS 等，有相关课程项目或实习经验者优先；3. 编程能力：掌握 Python / Java / Go / C++ 中至少一门语言，具备扎实的编码基础和良好的代码规范意识；4. 综合素质：逻辑思维清晰，具备良好的自驱力和抗压能力，能在快节奏环境中主动学习、持续成长。加分项 - 有数据采集、数据清洗或大数据存储（如 HDFS、HBase、ElasticSearch