更新于 2月26日

爬蟲(chóng)開(kāi)發(fā)工程師

8000-12000元·13薪

職位描述

PythonCSS反爬蟲(chóng)爬蟲(chóng)開(kāi)發(fā)數(shù)據(jù)采集ScrapyXPathDocker
崗位職責(zé):
1、負(fù)責(zé)公司數(shù)據(jù)采集需求對(duì)接和采集方案設(shè)計(jì)工作;
2、根據(jù)業(yè)務(wù)需求設(shè)計(jì)并開(kāi)發(fā)分布式爬蟲(chóng)系統(tǒng),對(duì)不同網(wǎng)站上的多源異構(gòu)數(shù)據(jù)進(jìn)行抓取,同時(shí)進(jìn)行必要的數(shù)據(jù)清洗、處理、去重等操作;
3、研究各類(lèi)反爬機(jī)制(如驗(yàn)證碼、滑塊等)與防屏蔽機(jī)制(如代理池、模擬登錄等),并形成一套可復(fù)用的組件、工具,提高系統(tǒng)的穩(wěn)定性、成功率;
4、對(duì)爬蟲(chóng)系統(tǒng)進(jìn)行定期維護(hù),確保程序正常運(yùn)行、數(shù)據(jù)正常獲取;
5、參與大數(shù)據(jù)平臺(tái)產(chǎn)品的建設(shè),專(zhuān)注于垂直領(lǐng)域數(shù)據(jù)抓取;
積極主動(dòng)思考探索爬蟲(chóng)在實(shí)際業(yè)務(wù)中的價(jià)值,參與設(shè)計(jì)數(shù)據(jù)有效利用策略,從數(shù)據(jù)合理性、完整性角度提供建議。

任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專(zhuān)業(yè),3年以上爬蟲(chóng)開(kāi)發(fā)工作經(jīng)驗(yàn);
2、熟悉linux、docker部署,掌握常用的操作命令
3、能夠獨(dú)立解決封賬號(hào)、封IP、驗(yàn)證碼、字體反爬等問(wèn)題;
4、熟悉html/css/xpath/ajax/xml等技術(shù),熟悉HTTP傳輸協(xié)議,精通網(wǎng)頁(yè)/App/小程序等抓取原理和整合技術(shù),熟悉正則表達(dá)式和xpath解析,有驗(yàn)證碼識(shí)別技術(shù)數(shù)據(jù)抓取經(jīng)驗(yàn)者優(yōu)先;
5、熟練掌握Python語(yǔ)言,熟悉常用爬蟲(chóng)框架,如Scrapy、pyspider等;
6、熟練掌握Mysql、Oracle等關(guān)系型數(shù)據(jù)庫(kù),熟悉Redis、MongoDB等非關(guān)系型數(shù)據(jù)庫(kù);
7、具備一定的文案能力,能夠通過(guò)圖文結(jié)合方式清晰展現(xiàn)分析成果;
能夠與人融洽相處,善于團(tuán)隊(duì)合作。

福利待遇:
五險(xiǎn)一金(試用期即投)、工齡工資、績(jī)效工資、全勤獎(jiǎng)、節(jié)日福利;
國(guó)家法定節(jié)假日,另有婚假、產(chǎn)假、哺乳假等眾多福利;
作息時(shí)間:8:30-17:30,午休:12:00-13:30,周末雙休;
高檔舒適的辦公環(huán)境,工作氛圍輕松,人性化管理。

職位福利:五險(xiǎn)一金、績(jī)效獎(jiǎng)金、節(jié)日福利、周末雙休、公司重點(diǎn)項(xiàng)目

工作地點(diǎn)

濟(jì)南華潤(rùn)置地廣場(chǎng)1號(hào)樓10樓

職位發(fā)布者

侯女士/人力資源經(jīng)理

剛剛活躍
立即溝通
公司Logo山東辰華科技信息有限公司
山東辰華科技信息有限公司(簡(jiǎn)稱辰華科技)2013年始建于泉城濟(jì)南,是一家致力于科技服務(wù)業(yè)與大數(shù)據(jù)、云計(jì)算及人工智能等新一代信息技術(shù)深度融合、創(chuàng)新與應(yīng)用的高成長(zhǎng)型國(guó)家高新技術(shù)企業(yè)。公司組織機(jī)構(gòu)健全、管理規(guī)范,現(xiàn)有員工150余人,研究生以上學(xué)歷人員近20%,規(guī)模實(shí)力穩(wěn)居山東科技服務(wù)行業(yè)領(lǐng)先地位。歷經(jīng)多年創(chuàng)新發(fā)展,辰華科技現(xiàn)包含有科技信息公司、專(zhuān)利代理公司及數(shù)據(jù)科技公司,已形成科技咨詢服務(wù)、知識(shí)產(chǎn)權(quán)服務(wù)及其大數(shù)據(jù)管理平臺(tái)開(kāi)發(fā)等業(yè)務(wù)融合共進(jìn)發(fā)展新業(yè)態(tài)。作為科技服務(wù)新業(yè)態(tài)引領(lǐng)者,公司屬國(guó)家高新技術(shù)企業(yè)、山東省級(jí)“專(zhuān)精特新”企業(yè)、山東省瞪羚企業(yè)、山東省級(jí)技術(shù)轉(zhuǎn)移服務(wù)機(jī)構(gòu)(首批)、山東省大數(shù)據(jù)協(xié)會(huì)副會(huì)長(zhǎng)單位(首屆)、濟(jì)南市科技服務(wù)業(yè)聯(lián)盟副理事長(zhǎng)單位(首屆)等,相繼獲評(píng)“影響濟(jì)南”科技人物、“山東優(yōu)質(zhì)品牌服務(wù)”、“山東省服務(wù)業(yè)高端品牌培育企業(yè)”等,2021年入選山東民營(yíng)企業(yè)創(chuàng)新100強(qiáng)(第30位)。作為軟件服務(wù)企業(yè),公司長(zhǎng)期聚焦科技服務(wù)行業(yè),建有濟(jì)南市工程研究中心,屬我省科技服務(wù)行業(yè)企業(yè)首家市級(jí)創(chuàng)新平臺(tái)。公司具有計(jì)算機(jī)信息系統(tǒng)集成及服務(wù)資質(zhì),通過(guò)ISO9001質(zhì)量管理體系認(rèn)證、CCRC信息安全服務(wù)資質(zhì)認(rèn)證,申請(qǐng)發(fā)明專(zhuān)利9項(xiàng)、注冊(cè)商標(biāo)9項(xiàng),取得軟件著作權(quán)30余項(xiàng),具備較強(qiáng)的大數(shù)據(jù)平臺(tái)設(shè)計(jì)開(kāi)發(fā)能力。所屬子公司山東辰華知識(shí)產(chǎn)權(quán)代理有限公司屬國(guó)家正規(guī)專(zhuān)利代理機(jī)構(gòu)(機(jī)構(gòu)代碼:37336),現(xiàn)具有各領(lǐng)域?qū)@こ處?0余人,其中研究生以上學(xué)歷8人,基于企業(yè)技術(shù)、產(chǎn)品及所屬行業(yè)等,組織開(kāi)展專(zhuān)利預(yù)警、分析、布局及挖掘工作,具有豐富的專(zhuān)利代理、優(yōu)先審查、快速預(yù)審等業(yè)務(wù)經(jīng)驗(yàn),可大幅縮短企業(yè)專(zhuān)利審查周期并提高授權(quán)率,具備較強(qiáng)知識(shí)產(chǎn)權(quán)服務(wù)保障能力。所屬子公司安徽辰華數(shù)據(jù)科技有限公司高起點(diǎn)打造科技創(chuàng)新人才策源地,整合合肥“科創(chuàng)之城”人才資源優(yōu)勢(shì),大力強(qiáng)化數(shù)據(jù)技術(shù)研發(fā),打造科創(chuàng)服務(wù)中心,賦能企業(yè)創(chuàng)新發(fā)展,安徽辰華是公司實(shí)施跨區(qū)域發(fā)展的重要戰(zhàn)略部署。
公司主頁(yè)