職位描述
Python數(shù)據(jù)挖掘爬蟲開發(fā)Hive分布式爬蟲數(shù)據(jù)采集PhantomJSMySQL
崗位職責(zé)
1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)平臺(tái)的架構(gòu)設(shè)計(jì)與開發(fā);
2、研究給到既定網(wǎng)站的爬蟲策略和防屏蔽規(guī)則，解決封賬號(hào)、封IP、驗(yàn)證碼、混淆加密，算法還原，實(shí)現(xiàn)JS逆向，加密參數(shù)的破解，以及實(shí)現(xiàn)js模擬登錄獲取cookie，構(gòu)造cookie池，能夠使用協(xié)議破解完成資源的抓取和存儲(chǔ)。
崗位要求：
1、熟練使用正則表達(dá)式、css path、xpath等，能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
2、熟練使用MySQL數(shù)據(jù)庫，掌握redis、mongodb、hive等常用nosql技術(shù)并具有實(shí)戰(zhàn)經(jīng)驗(yàn)；
3、熟悉各種抓取技術(shù)，包括代理、PhantomJS/selenium、驗(yàn)證碼處理；
4、熟悉整個(gè)爬蟲的設(shè)計(jì)及實(shí)現(xiàn)流程，有從事網(wǎng)絡(luò)爬蟲、網(wǎng)頁信息抽取開發(fā)經(jīng)驗(yàn)，5、熟悉反爬蟲技術(shù)，有分布式爬蟲架構(gòu)經(jīng)驗(yàn)；
5、具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先；
6、快速學(xué)習(xí)能力，工作積極主動(dòng)，為人熱情，熱衷挑戰(zhàn)困難的工作，擁有良好的團(tuán)隊(duì)協(xié)助和溝通能力；
7、有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗(yàn)優(yōu)先。
1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)平臺(tái)的架構(gòu)設(shè)計(jì)與開發(fā);
2、研究給到既定網(wǎng)站的爬蟲策略和防屏蔽規(guī)則，解決封賬號(hào)、封IP、驗(yàn)證碼、混淆加密，算法還原，實(shí)現(xiàn)JS逆向，加密參數(shù)的破解，以及實(shí)現(xiàn)js模擬登錄獲取cookie，構(gòu)造cookie池，能夠使用協(xié)議破解完成資源的抓取和存儲(chǔ)。
崗位要求：
1、熟練使用正則表達(dá)式、css path、xpath等，能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
2、熟練使用MySQL數(shù)據(jù)庫，掌握redis、mongodb、hive等常用nosql技術(shù)并具有實(shí)戰(zhàn)經(jīng)驗(yàn)；
3、熟悉各種抓取技術(shù)，包括代理、PhantomJS/selenium、驗(yàn)證碼處理；
4、熟悉整個(gè)爬蟲的設(shè)計(jì)及實(shí)現(xiàn)流程，有從事網(wǎng)絡(luò)爬蟲、網(wǎng)頁信息抽取開發(fā)經(jīng)驗(yàn)，5、熟悉反爬蟲技術(shù)，有分布式爬蟲架構(gòu)經(jīng)驗(yàn)；
5、具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先；
6、快速學(xué)習(xí)能力，工作積極主動(dòng)，為人熱情，熱衷挑戰(zhàn)困難的工作，擁有良好的團(tuán)隊(duì)協(xié)助和溝通能力；
7、有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗(yàn)優(yōu)先。
工作地點(diǎn)
華強(qiáng)電子世界(深圳一店)2號(hào)樓07號(hào)門6層
相似職位
- Python爬蟲工程師1.5-2.5萬
深圳 - 福田
深圳華強(qiáng) - 爬蟲開發(fā)工程師1.5-2萬
深圳 - 南山
深圳視觸科技有限公司 - 初級(jí)python爬蟲工程師，本科學(xué)歷及以上1-1.4萬·15薪
深圳 - 南山
深圳市華奧?？萍加邢薰?/span> - python爬蟲工程師1-1.6萬
深圳 - 福田
深圳盛豐易科技有限公司 - python爬蟲工程師1.6-1.7萬
深圳 - 福田
信必優(yōu)(深圳)信息技術(shù)有限公司 - 2025屆Python爬蟲（實(shí)習(xí)生）150-200元/天
深圳 - 寶安
深圳市胖達(dá)摸魚科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
林小姐/HR
三日內(nèi)活躍立即溝通
深圳華強(qiáng)
深圳華強(qiáng)實(shí)業(yè)股份有限公司創(chuàng)建于1979年，是一家以高科技產(chǎn)業(yè)為主導(dǎo)的大型投資控股企業(yè)集團(tuán)。（股票代碼：000062)網(wǎng)址：http://www.szhq000062.com/公司秉承“誠信、創(chuàng)新、和諧、共贏”的企業(yè)精神，經(jīng)過三十多年的發(fā)展，形成了以文化科技產(chǎn)業(yè)、電子信息高端服務(wù)業(yè)、高科技電子制造業(yè)等為主導(dǎo)的多元化產(chǎn)業(yè)格局。文化科技產(chǎn)業(yè)主要從事主題公園、影視娛樂、媒體網(wǎng)絡(luò)等文化科技產(chǎn)品的創(chuàng)意、研究、生產(chǎn)與銷售。電子信息高端服務(wù)業(yè)包括電子專業(yè)市場連鎖經(jīng)營、電子商務(wù)平臺(tái)、物流供應(yīng)鏈等多樣化業(yè)務(wù)。商業(yè)地產(chǎn)業(yè)以商業(yè)地產(chǎn)開發(fā)運(yùn)行為核心，綜合發(fā)展商業(yè)運(yùn)營、酒店經(jīng)營、物業(yè)管理等相關(guān)業(yè)務(wù)。高科技電子制造業(yè)主要從事精密電子元器件、數(shù)碼產(chǎn)品的設(shè)計(jì)生產(chǎn)。目前，華強(qiáng)集團(tuán)擁有70多家投資企業(yè)，擁有多家國家級(jí)高新技術(shù)企業(yè)及國家級(jí)技術(shù)開發(fā)中心。公司連續(xù)多年被評(píng)為“中國500強(qiáng)企業(yè)”、“中國企業(yè)集團(tuán)競爭力500強(qiáng)企業(yè)”、“中國制造業(yè)500強(qiáng)企業(yè)”、“中國電子信息100強(qiáng)企業(yè)”、“全國高出口創(chuàng)匯企業(yè)”、“廣東省50強(qiáng)企業(yè)”、“廣東省大型企業(yè)競爭力50強(qiáng)企業(yè)”、“廣東省質(zhì)量效益型企業(yè)”、“深圳100強(qiáng)企業(yè)”；多次被評(píng)為“廣東省雙文明建設(shè)先進(jìn)集體”、“重信譽(yù)、守合同單位”和廣東省、深圳市“納稅大戶”、“文明單位”。
公司主頁