更新于 4月3日

數(shù)據(jù)遷移工程師(數(shù)據(jù)倉(cāng)庫(kù))

1.1-1.7萬(wàn)
  • 上海閔行區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招10人

雇員點(diǎn)評(píng)標(biāo)簽

  • 工作環(huán)境好
  • 同事很nice
  • 氛圍活躍
  • 人際關(guān)系好
  • 免費(fèi)班車
  • 管理人性化
  • 團(tuán)隊(duì)執(zhí)行強(qiáng)
  • 交通便利

職位描述

數(shù)倉(cāng)開(kāi)發(fā)數(shù)據(jù)治理JavaPythonHive sqlHadoopHiveSparkFlink數(shù)據(jù)遷移
統(tǒng)招本科學(xué)歷
崗位職責(zé):
1. 負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)腳本任務(wù)及數(shù)據(jù)的搬遷工作,確保最終數(shù)據(jù)完整性和一致性。
2. 使用 Hive SQL 進(jìn)行數(shù)據(jù)查詢操作,基于 Hadoop 大數(shù)據(jù)組件完成數(shù)據(jù)腳本部署、驗(yàn)證,編寫和維護(hù)數(shù)據(jù)搬遷相關(guān)的操作文檔
3. 與業(yè)務(wù)團(tuán)隊(duì)和開(kāi)發(fā)團(tuán)隊(duì)協(xié)作,確保數(shù)據(jù)搬遷項(xiàng)目按時(shí)交付。
4.負(fù)責(zé)搬遷工具的用戶支持、問(wèn)題排查和系統(tǒng)運(yùn)維等工作,沉淀工具手冊(cè),支持用戶完成搬遷項(xiàng)目。
任職要求:
1. 數(shù)據(jù)倉(cāng)庫(kù)庫(kù):熟悉數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)、建模和優(yōu)化,熟悉 ETL 流程。
2. 大數(shù)據(jù)組件:熟悉 Hadoop 生態(tài)系統(tǒng)(如 HDFS、YARN),了解 Spark、HBase、Kafka、Flink、ES、ClickHouse 等大數(shù)據(jù)組件的使用。
3. 有大型數(shù)據(jù)倉(cāng)庫(kù)遷移項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。"
4. 編程語(yǔ)言:精通 Hive SQL,能夠編寫復(fù)雜的查詢語(yǔ)句;有一定 Python、Java 或 Scala 等編程語(yǔ)言的基礎(chǔ)。
5.加分項(xiàng):熟悉Java 前后端系統(tǒng)的運(yùn)維工作,能夠根據(jù)日志和數(shù)據(jù)庫(kù)等進(jìn)行問(wèn)題的排查和解決。

工作地點(diǎn)

微創(chuàng)大廈1

職位發(fā)布者

來(lái)志穎/HR

剛剛活躍
立即溝通
公司Logo上海微創(chuàng)軟件股份有限公司
上海微創(chuàng)軟件股份有限公司2002年由微軟與上海市政府共同創(chuàng)辦,是微軟在華投資的第一家合資公司。微創(chuàng)始終秉承高標(biāo)準(zhǔn)的服務(wù)品質(zhì)與“成就客戶”的服務(wù)理念,在全球設(shè)有20余處交付中心,分布在中國(guó)、美國(guó)、日本、澳大利亞,憑借在汽車、保險(xiǎn)、高科技、金融、互聯(lián)網(wǎng)等行業(yè)的深厚積累和豐富經(jīng)驗(yàn),與2500余家企業(yè)與政府客戶達(dá)成了長(zhǎng)期、穩(wěn)定、友好的合作。
公司主頁(yè)