崗位職責(zé)
1、負(fù)責(zé)公司爬蟲核心技術(shù)開發(fā),滿足公司對多源數(shù)據(jù)海量、實(shí)時(shí)、高質(zhì)量采集要求
2、積極主動思考探索爬蟲在實(shí)際業(yè)務(wù)中的價(jià)值,參與設(shè)計(jì)數(shù)據(jù)有效利用策略,從數(shù)據(jù)合理性、完整性角度提供建議
3、把握網(wǎng)絡(luò)爬蟲核心技術(shù)研究方向,研究優(yōu)化方向,提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性
4、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則,提升網(wǎng)頁抓取的效率和質(zhì)量
5、負(fù)責(zé)攻克實(shí)際業(yè)務(wù)中遇到的難題
任職要求
1、統(tǒng)招本科以上學(xué)歷,3年以上爬蟲項(xiàng)目經(jīng)驗(yàn)
2、有豐富的web端逆向經(jīng)驗(yàn),對web端環(huán)境補(bǔ)全,算法還原有一定經(jīng)驗(yàn)
3、熟練使用使用 App 逆向工具frida,ida,apktool,xposed, 還原算法,java 層、so 層調(diào)用等
4、熟悉linux系統(tǒng),熟悉mongodb,nosql(redis/kafka/rabbitmq),elasticsearch
5、充分的耐心以及靈活的頭腦