兼職崗位,按量發(fā)放工資,介意勿投?。?!
崗位職責:
1、負責分布式網(wǎng)絡爬蟲系統(tǒng)設計,搭建系統(tǒng)框架,開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng);
2、負責數(shù)據(jù)的抓取、提取、數(shù)據(jù)分析等工作,滿足業(yè)務部門對數(shù)據(jù)的需求。
3、設計和優(yōu)化數(shù)據(jù)抓取策略,能夠應對各種反爬策略,提高數(shù)據(jù)抓取的效率和質(zhì)量。
任職要求:
1、計算機相關專業(yè),有2年以上爬蟲開發(fā)經(jīng)驗。
2、精通Python語言,至少熟練掌握主流爬蟲框架中的一種;
3、熟悉常見反爬機制,驗證碼識別,IP代理池、應用Ip池、headers認證和cookie等;
4、有處理大規(guī)模數(shù)據(jù)的經(jīng)驗,對分布式爬蟲有實際操作經(jīng)驗者優(yōu)先。