崗位職責：

1. 熟悉搜索引擎和網絡爬蟲相關技術,有爬蟲系統(tǒng)開發(fā)經驗；

2. 熟練掌握網頁抓取原理及技術，熟悉網頁解析過程，具備數據的過濾、清洗、去重、結構化導入經驗；

3. 熟悉分布式爬蟲應用和調度策略，掌握各類網站的反爬機制和驗證碼機制；

4. 熟悉TCP/IP協(xié)議及HTTP協(xié)議,了解基本的前端技術，HTML、CSS、JS、Ajax等；

5. 熟練使用mysql，mongodb等數據庫，熟悉mysql的各種存儲引擎，熟悉索引工作原理。

任職要求：

1. 大學本科及以上學歷，計算機相關專業(yè)，基礎扎實；

2. 具有Python開發(fā)工作經驗，熟悉Python常用函數庫和包；

3. 熟練掌握python，熟悉常用爬蟲框架中的一種或多種，熟悉Scrapy、Pyspider框架中的至少一種；

4. 熟悉MySql、Redis、MongoDB等數據庫，對SQL優(yōu)化有一定的經驗；

5.熟悉網頁抓取原理及技術，熟練掌握正則表達式、XPath、CSS等網頁信息抽取技術；

6.具有優(yōu)秀的團隊合作和溝通協(xié)作能力，善于學習，能承受較大的工作壓力。