1.  熟练使用scrapy编写爬虫程序，熟悉国外中大型电商网站海量数据爬取，能够充分利用代 理ip资源进行高效爬取
2. 熟练构建分布式爬虫，增量爬虫、多线程爬虫、Linux下的定时启动爬虫
3. 掌握基本的数据结构与算法
4. 熟悉各个网站常见反爬策略，能根据网页分析出常见反爬手段
5. 熟悉从结构化与非结构化网页中提取所需内容
6. 熟悉html/csss/js，能简单使用bootstrap,vue搭建页面，可以通过前端代码分析目标网站 真实request地址和response内容
7. 熟练使用 PyV8,JS2PY 或直接手写 python 代码去解析 JS 代码
8.熟悉nodejs和puppeteer框架开发
8. 熟悉主流的验证码识别技术(tesseract、selenium+pillow、第三方打码平台)

使用技术： 
1. 使用Scrapy_Redis搭建分布式爬虫框架
2. 使用 Re+XPath+Jsopath提取数据
3. 使用js2py或者pyv8来执行js相关代码，获取数据。
4. js环境比较复杂，无法完全找到js包，那么可以使用selenium配合浏览器，使用driver执行js代码，获取相关数据
5. 使用 Selenium+Headless Chrome无头浏览器爬取页面数据
6. 使用nodejs实现淘宝的自动登录
7. 使用elasticsearch保存数据  便于搜索查询数据
 项目一：淘宝系网站相关爬虫
爬取阿里系的各类商家服务网站的数据，需要商家的账号登录。
  项目二：淘宝自动登录
使用puppeteer进行自动登录操作，批量登录淘宝商家账号，并获取淘宝商家后台、直通车、钻展、超级推荐等网站的登录信息，为数据爬取提供支持