更新于 今天

開(kāi)源數(shù)據(jù)采集工程師

1.2-2.4萬(wàn)

職位描述

反爬蟲(chóng)分布式爬蟲(chóng)數(shù)據(jù)爬蟲(chóng)SPIDER-FLOWWebMagicScrapyPythonJavaGO
一、崗位職責(zé)
1、基于內(nèi)部采集框架,熟悉采集架構(gòu),熟悉開(kāi)源數(shù)據(jù)采集程序方法策略,設(shè)計(jì)采集策略和防屏蔽規(guī)則,提升開(kāi)源數(shù)據(jù)采集效率和質(zhì)量,能夠進(jìn)行論壇、網(wǎng)站等平臺(tái)信息的抓取和分析
2、深入了解采集平臺(tái)數(shù)據(jù)獲取邏輯,完成數(shù)據(jù)采集、解析處理、數(shù)據(jù)入庫(kù)等數(shù)據(jù)日常工作,完成數(shù)據(jù)采集規(guī)則編寫(xiě)和維護(hù)
3、把握開(kāi)源數(shù)據(jù)采集核心技術(shù)研究方向,研究?jī)?yōu)化平臺(tái),提升采集程序的穩(wěn)定性、可擴(kuò)展性,支撐相關(guān)單位的數(shù)據(jù)需求
二、任職要求
1、具備良好的計(jì)算機(jī)專業(yè)只是,有開(kāi)源數(shù)據(jù)采集項(xiàng)目經(jīng)驗(yàn)
2、熟悉開(kāi)源數(shù)據(jù)采集原理,負(fù)責(zé)或參與過(guò)日采集數(shù)據(jù)量過(guò)十萬(wàn)規(guī)模的采集系統(tǒng)
3、熟悉scrapy、webmagic、spider-flow等開(kāi)源數(shù)據(jù)采集框架
4、有較強(qiáng)的逆襲和解決問(wèn)題能力,具備良好的溝通和團(tuán)隊(duì)寫(xiě)作能力
5、特別優(yōu)秀人才,學(xué)歷可放寬至本科。
三、加分項(xiàng)
1、熟悉go語(yǔ)言,能夠使用golang開(kāi)發(fā)應(yīng)用

工作地點(diǎn)

福建省廈門(mén)市

職位發(fā)布者

劉先生/人事經(jīng)理

今日活躍
立即溝通
公司Logo公安部第一研究所公司標(biāo)簽
公安部第一研究所是從事公安科學(xué)技術(shù)研究,為公安業(yè)務(wù)部門(mén)和社會(huì)公共安全領(lǐng)域提供技術(shù)、產(chǎn)品、工程和服務(wù)的綜合性研究所,建立于1960年初,至今走過(guò)了近50年的歷程,已發(fā)展成為公安部最大的直屬研究所,業(yè)務(wù)領(lǐng)域覆蓋安全檢查、安全防范與警用信息集成、證件與防偽、技術(shù)偵查、警用通信與指揮系統(tǒng)集成、特種警用裝備、信息安全、標(biāo)準(zhǔn)化與檢測(cè)等方面。進(jìn)入21世紀(jì),科學(xué)技術(shù)迅猛發(fā)展,面對(duì)新形勢(shì)、新任務(wù)、新期待,我所進(jìn)一步明確定位,堅(jiān)持以“科技強(qiáng)警”為己任,以公安業(yè)務(wù)一線的需求為導(dǎo)向,積極開(kāi)展科技創(chuàng)新,注重提高和完善公安技術(shù)手段與公共安全裝備技術(shù),加大科技成果推廣力度,開(kāi)發(fā)生產(chǎn)了大量用于公安和社會(huì)公共安全領(lǐng)域的高新技術(shù)產(chǎn)品,為維護(hù)社會(huì)穩(wěn)定和預(yù)防打擊犯罪做出了積極貢獻(xiàn)。作為一個(gè)現(xiàn)代化的研究所,我們非常重視開(kāi)展國(guó)內(nèi)外技術(shù)交流與合作,與眾多的科研院所和高等院校建立了廣泛的學(xué)術(shù)交流和技術(shù)研發(fā)合作渠道。目前,我所擁有一支年齡、知識(shí)、專業(yè)結(jié)構(gòu)合理,富有朝氣的人才隊(duì)伍,為我所各項(xiàng)工作的全面發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。希望通過(guò)網(wǎng)站這個(gè)窗口,可以使您在第一時(shí)間了解我們,分享我所研究人員的科研成果,了解我所的學(xué)術(shù)交流和新產(chǎn)品動(dòng)態(tài),得到及時(shí)的信息服務(wù)。在此,真誠(chéng)希望社會(huì)各界對(duì)我們的工作繼續(xù)給予關(guān)心和指導(dǎo),期盼與國(guó)內(nèi)外同仁開(kāi)展全方位多層次的交流與合作。
公司主頁(yè)