400-885-9898
更新于 11月27日
智聯(lián)APPAPP
舉報(bào)

大數(shù)據(jù)開發(fā)工程師(A20387)

1.5-2.5萬(wàn)
  • 東莞
  • 3-5年
  • 本科
  • 全職
  • 招1人

職位描述

數(shù)據(jù)中臺(tái)開發(fā)數(shù)據(jù)庫(kù)開發(fā)數(shù)據(jù)架構(gòu)
職位描述：
（1）大數(shù)據(jù)開發(fā)
1、負(fù)責(zé)大數(shù)據(jù)離線開發(fā)，使用Sqoop等組件開發(fā)每日離線數(shù)據(jù)采集任務(wù)，使用Hive/Spark SQL編寫ETL作業(yè)過(guò)程，處理各種復(fù)雜的業(yè)務(wù)邏輯，根據(jù)業(yè)務(wù)邏輯配置合理的調(diào)度順序；
2、負(fù)責(zé)大數(shù)據(jù)實(shí)時(shí)開發(fā)，使用Flink/Spark實(shí)時(shí)計(jì)算引擎開發(fā)實(shí)時(shí)流作業(yè)，讀取接口/文本/數(shù)據(jù)庫(kù)日志/消息隊(duì)列中間件等數(shù)據(jù)源，經(jīng)過(guò)業(yè)務(wù)邏輯加工處理后寫入大數(shù)據(jù)平臺(tái)；
3、保障數(shù)據(jù)產(chǎn)出時(shí)效穩(wěn)定，每天監(jiān)控?cái)?shù)據(jù)產(chǎn)出時(shí)間，采取調(diào)度鏈路優(yōu)化，作業(yè)優(yōu)化，SQL優(yōu)化等手段，提升數(shù)據(jù)產(chǎn)出效率。
（2）集團(tuán)數(shù)據(jù)資產(chǎn)建設(shè)
1、根據(jù)各個(gè)業(yè)務(wù)領(lǐng)域項(xiàng)目推進(jìn)過(guò)程中沉淀的數(shù)據(jù)分析體系，維護(hù)成可方便檢索，查找和應(yīng)用的數(shù)據(jù)資產(chǎn)，包含業(yè)務(wù)口徑，出數(shù)頻率，數(shù)據(jù)樣例等關(guān)鍵業(yè)務(wù)和技術(shù)元數(shù)據(jù)；
2、根據(jù)數(shù)據(jù)分析師提供的數(shù)據(jù)質(zhì)量規(guī)則，開發(fā)相應(yīng)的數(shù)據(jù)校驗(yàn)程序，確保跑數(shù)完成后即刻校驗(yàn)，確保高質(zhì)量的數(shù)據(jù)資產(chǎn)；
3、生成相應(yīng)的數(shù)據(jù)服務(wù)接口，可供前端應(yīng)用，BI工具和業(yè)務(wù)系統(tǒng)調(diào)用。
（3）數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)
1、根據(jù)業(yè)務(wù)領(lǐng)域數(shù)據(jù)特征以及維度建模的方法，橫向劃分?jǐn)?shù)據(jù)倉(cāng)庫(kù)分析主題域，縱向劃分層次，達(dá)成數(shù)據(jù)重復(fù)利用率高且能快速開發(fā)數(shù)據(jù)需求的目的；
2、定義各個(gè)數(shù)倉(cāng)分層，考慮數(shù)據(jù)寫入和查詢的性能，提升作業(yè)的運(yùn)行速度，報(bào)表查詢數(shù)據(jù)時(shí)的高復(fù)用性和易擴(kuò)展性；
3、通過(guò)合理的數(shù)據(jù)模型設(shè)計(jì)，提高數(shù)據(jù)的查詢性能和分析效率，降低維護(hù)成本。
（4）制定規(guī)范
1、制定公司數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)原則，輸出數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)的基本原則；
2、制定公司數(shù)據(jù)開發(fā)的開發(fā)規(guī)范。
職位要求：
（1）教育程度：
本科畢業(yè)3年以上，計(jì)算機(jī)，信息工程，數(shù)學(xué)等相關(guān)專業(yè)畢業(yè)；
（2）相關(guān)經(jīng)驗(yàn)：
具有3年以上大數(shù)據(jù)開發(fā)相關(guān)經(jīng)驗(yàn)；
（3）專業(yè)能力：
1.具備數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)和設(shè)計(jì)能力，熟悉維度建模的方法；
2.良好的溝通和邏輯思維能力，能夠?qū)I(yè)務(wù)需求進(jìn)行抽象并據(jù)此進(jìn)行架構(gòu)設(shè)計(jì)；
3.有過(guò)數(shù)據(jù)資產(chǎn)目錄建設(shè)和維護(hù)的經(jīng)驗(yàn)；
4.熟悉大數(shù)據(jù)離線和實(shí)時(shí)開發(fā)使用的組件，Hive、Spark、Flink等，熟悉分布式計(jì)算和存儲(chǔ)的相關(guān)原理及高可用機(jī)制原理，并可獨(dú)立排查故障問(wèn)題；
5.熟練使用Dataworks，DolphiScheduler，kettle或其它數(shù)據(jù)開發(fā)工具中的一種；
6.熟悉SQL的執(zhí)行原理，具備優(yōu)化復(fù)雜SQL的能力；
7.掌握shell，python，java等編程語(yǔ)言中的一種；
8.具有很好的溝通表達(dá)能力，勤奮好學(xué)，具有很好的團(tuán)隊(duì)合作意識(shí)。

工作地點(diǎn)

玖龍環(huán)球(中國(guó))投資集團(tuán)有限公司

職位發(fā)布者

余先生/招聘專員

三日內(nèi)活躍
立即溝通
公司Logo玖龍紙業(yè)（控股）有限公司
玖龍紙業(yè)成立于1995年，總部位于廣東東莞，2006年在香港上市，是世界知名的環(huán)保造紙集團(tuán)，中國(guó)造紙龍頭企業(yè)（主要產(chǎn)品為各類環(huán)保包裝紙）。集團(tuán)在東莞、蘇州（太倉(cāng)）、重慶、天津、泉州、沈陽(yáng)、唐山、樂山及海外越南建立造紙基地，配套熱電聯(lián)產(chǎn)、環(huán)保水處理及物流運(yùn)輸系統(tǒng)。2018年收購(gòu)美國(guó)四家漿紙一體化工廠，2019年收購(gòu)馬來(lái)西亞一家漿紙廠。集團(tuán)2020年先后在湖北荊州、廣西北海、湖北咸寧、馬來(lái)西亞雪蘭莪建設(shè)大型造紙新基地。玖龍不僅在上游擁有國(guó)內(nèi)外完備的再生資源回收體系，在下游亦積極布局多個(gè)智能化包裝公司，分別位于東莞、太倉(cāng)、天津、成都和重慶，實(shí)現(xiàn)了造紙全產(chǎn)業(yè)鏈發(fā)展。集團(tuán)現(xiàn)有年總產(chǎn)能約1800萬(wàn)噸，2019年?duì)I收總額約680億元，總資產(chǎn)約820億元，國(guó)內(nèi)員工約1.7萬(wàn)人，2020年名列中國(guó)民營(yíng)企業(yè)500強(qiáng)第111位。
公司主頁(yè)