1、對指定的多個網(wǎng)站進行網(wǎng)頁分析、數(shù)據(jù)爬取和提取、破解反爬策略;
2、負責數(shù)據(jù)清洗、入庫、服務(wù)化等研發(fā)和優(yōu)化工作;
3、分析目標站網(wǎng)頁結(jié)構(gòu)，并選取最優(yōu)爬取方式，監(jiān)控目標數(shù)據(jù)變化，定時更新，保證數(shù)據(jù)時效性;
4、參與開發(fā)和設(shè)計分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進行信息的抓取和分析工作;
5、研究爬蟲策略和防屏蔽規(guī)則，解決身份、驗證碼、IP限制、頁面跳轉(zhuǎn)、動態(tài)標簽等難點，提升網(wǎng)頁抓取的效率和質(zhì)量;
6、溝通和理解相關(guān)部門的爬取需求，并給出專業(yè)的建議和解決方案；

職位要求：
本科及以上學歷，計算機相關(guān)專業(yè)，具備3年以上爬蟲開發(fā)相關(guān)經(jīng)驗;
精通Python語言、開源爬蟲框架、數(shù)據(jù)抽取技術(shù);熟悉HTTP/HTTPS協(xié)議、爬蟲相關(guān)前端技術(shù);
熟悉常見的反爬蟲機制，并能使用相應(yīng)的技術(shù)手段進行應(yīng)對，如IP 代理、用戶代理、驗證碼識別等;
熟悉數(shù)據(jù)庫技術(shù)，如 MySQL、MongoDB等，能夠進行數(shù)據(jù)的存儲和查詢;
具備優(yōu)秀的邏輯思維能力，對解決挑戰(zhàn)性問題充滿熱情，善于分析問題/解決問題;
有爬蟲結(jié)合AI經(jīng)驗優(yōu)先。