400-885-9898
更新于 今天
智聯(lián)APPAPP
舉報

爬蟲工程師

1-1.5萬
  • 上海浦東新區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招5人

職位描述

PythonJavaScript數(shù)據(jù)采集爬蟲開發(fā)反爬蟲分布式爬蟲Scrapy
一、職位描述：
1、負責設(shè)計和開發(fā)分布式的網(wǎng)絡(luò)爬蟲應(yīng)用，包括調(diào)度、抓取、入庫等內(nèi)容，進行互聯(lián)網(wǎng)相關(guān)信息的抓取和分析
2、負責實現(xiàn)大規(guī)模數(shù)據(jù)的抓取、抽取，去重、分類，垃圾過濾，質(zhì)量識別、解析入庫等工作
3、負責對指定的多個網(wǎng)站進行網(wǎng)頁抓取、數(shù)據(jù)提取、破解反爬策略
4、承接開發(fā)任務(wù)，需求分析，確保按時按質(zhì)按量完成任務(wù)
5、有良好的溝通和學習能力.有較強的團隊協(xié)作能力以及快速解決問題的能力。

二、崗位要求：
1、計算機或相關(guān)專業(yè)、具備3年以上項目開發(fā)經(jīng)驗；
2、具有scrapy, scrapy-redis開發(fā)經(jīng)驗；
3、具有web逆向經(jīng)驗, 如滑塊驗證碼, 瑞數(shù)5代6代
4、熟悉多線程、網(wǎng)絡(luò)編程，精通網(wǎng)頁抓取原理及技術(shù)，精通正則表達式；?
5、熟悉并熟練應(yīng)用各種常見加密算法；?
6、熟悉至少一種關(guān)系型數(shù)據(jù)庫(MySQL等); 熟悉NoSQL redis mongodb；至少熟悉一種mq, 有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗優(yōu)先；
7、具有工商數(shù)據(jù)、金融數(shù)據(jù)、案件數(shù)據(jù)抓取經(jīng)驗者優(yōu)先;?
8、有移動平臺（iOS，安卓）開發(fā)經(jīng)驗優(yōu)先；

?

工作地點

中國人壽金融中心

職位發(fā)布者

郭女士/人事經(jīng)理

今日活躍
立即溝通
上海問道云人工智能科技有限公司
上海問道云人工智能科技有限公司成立于2017年，從事人工智能創(chuàng)新研究，致力于將先進的人工智能技術(shù)與行業(yè)應(yīng)用相結(jié)合。用堅實的技術(shù)力量參與人工智能領(lǐng)域的基礎(chǔ)性科學研究，致力服務(wù)于金融、法律、零售等多個行業(yè)。
公司主頁