1.負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式爬蟲系統(tǒng)，進(jìn)行多平臺(tái)多終端信息的抓取和分析；
2.建立完整的數(shù)據(jù)獲取、解析、入庫和監(jiān)控流程，優(yōu)化系統(tǒng)瓶頸，不斷迭代完善；
3.有驗(yàn)證碼破解、反扒、分布式爬蟲架構(gòu)經(jīng)驗(yàn)；
4.研究?jī)?yōu)化算法，提升爬蟲系統(tǒng)的穩(wěn)定性和可擴(kuò)展性；
5.快速支撐產(chǎn)品所需數(shù)據(jù)落地；
任職要求：
1.3年以上工作經(jīng)驗(yàn)，計(jì)算機(jī)、電子、數(shù)學(xué)、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè)及本科以上學(xué)歷；
2.python語言基礎(chǔ)扎實(shí)，熟練使用python，熟悉linux對(duì)應(yīng)的開發(fā)環(huán)境
3.熟悉反扒機(jī)制；
4.精通爬蟲原理、熟悉scrapy、pyspider等框架；
5.熟悉mysql,mongodb等數(shù)據(jù)庫
6.能夠熟練使用flask，Tornado等Web框架開發(fā)，會(huì)用numpy,pandas等數(shù)據(jù)分析工具為加分項(xiàng)
7.優(yōu)秀的分析、解決問題能力，對(duì)未知的、挑戰(zhàn)性問題充滿激情
8.人品正直，有原則，有一顆奮斗拼搏的心。