崗位職責(zé):
python項目開發(fā),數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫、統(tǒng)計分析等
任職要求:
1、5 年以上 python 開發(fā)經(jīng)驗,抓過海量數(shù)據(jù),有反爬策略和實踐經(jīng)驗。
2、做過抖音、快手數(shù)據(jù)抓取,做過海外版的優(yōu)先考慮。
3、熟悉各種爬蟲技術(shù):adsl撥號、正則表達式脫殼技術(shù)、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpClient、分布式爬蟲調(diào)度、代理ip調(diào)度算法、配置化爬蟲、授權(quán)爬蟲等
4、熟悉常見的反爬蟲技術(shù)及其突破方案,熟悉app抓包,熟悉常用數(shù)據(jù)庫,熟悉逆向。