高级爬虫工程师

"薪资：面议
年龄：21-35岁
9小时，月休4

岗位需求：
1、本科及以上学历，计算机相关专业，3年以上Python数据爬虫相关经验优先考虑；
2、熟悉Scrapy框架及原理，有大规模分布式开发和部署经验；
3、掌握 web/app 常见的反爬机制，精通各种反爬破解，包括但不限于：hook、Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能；
4、熟练掌握http协议，xpath、csspath、正则表达式；
5、熟悉selenium或Puppeteer
6、熟悉常用反爬手段及其对应方法、技巧；
7、有良好的责任心、沟通能力、学习能力、团队协作精神；
8、熟悉常用js防护手段及其对应的分析、调试技巧优先。
9、有海外网站爬虫、滲透、AP I接口、转库、脱库、nasell经验的优先考虑；

职责：
1、设计、开发、维护、重构单独及分布式网络爬虫；
2、负责业务所涉及数据的爬取、清洗、结构化，入库，并持续运营维护；
3、抓取策略算法的更新维护，以及确保数据抽取准确、高效；
4、能够独立部署爬虫程序，维护爬虫服务器；
5、负责爬虫的性能优化和稳定性优化；
6、编写开发文档，可供其他开发同事进行后续开发支持。