爬虫工程师深圳社招全职职位描述1. 负责根据业务需求/规划开展爬虫工作，同时对现有爬虫进行维护和完善；2. 持续进行爬虫核心技术研究和策略优化，攻克疑难技术问题，设计防屏蔽规则，提升数据抓取的效率和质量；3. 建立爬虫监测体系，及时监控及解决运行过程中出现的问题，确保数据的稳定性和准确性；4. 参与公司内部相关平台的架构设计与开发，并结合业务场景及NLP等技术，实现产品化。职位要求1. 计算机或相关专业毕业，本科及以上学历，有2年以上爬虫工作经验；2. 熟悉Java、Python、HTML、JavaScript等编程语言，了解Spring Boot框架，熟悉常见爬虫框架如Scrapy、Selenium等；3. 熟悉MySQL、MongoDB等主流数据库，熟练掌握SQL语句编写；4. 熟悉Linux环境，能使用常用的Linux命令；5. 熟悉网络基础，了解TCP/IP网络协议，熟悉HTTP协议；6. 掌握爬虫原理，掌握正则表达式、XPath的使用，掌握常见抓包分析工具如Fiddler、Charles、Wireshark、Postman等，熟悉常见反爬机制；7. 具备较强的抗压能力，有责任心，注重工作效率和代码质量。投递...
高级爬虫工程师北京、上海社招全职研发 - 大数据职位描述1、负责爬虫策略与方案制定，爬虫系统架构设计与开发；2、负责网站、APP等大规模文本、图片数据抓取，爬虫核心算法优化，提升爬虫效率和质量；3、进行多平台信息分析，参与企业数据建设。职位要求1、3年以上开发经验（爬虫），计算机相关专业优先；2、有过爬虫平台化建设经验（0-1）优先；3、至少熟悉并使用过一种主流爬虫架构，如Scrapy、Gocolly、Webmagic等；4、有分布式爬虫或熟悉app逆向、反编译经验者优先；5、熟练掌握Python/Go/JavaScript等至少一种语言；熟练使用Go语言者优先；6、熟悉HTTP、TCP等网络协议，精通httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等爬虫相关技术；掌握fiddler、charles等抓包工具；7、熟悉Mysql、Nosql数据库设计，熟悉Redis技术和ElasticSearch；了解Hadoop、HBase、HDFS、Kafka等大数据相关知识。投递...
