崗位職責:
1. 負責數(shù)據(jù)中臺整體技術(shù)架構(gòu)設(shè)計,協(xié)調(diào)數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、運維等模塊的技術(shù)落地;
2. 主導開源組件(DataX/Flink/Spark/Doris)的選型、優(yōu)化與深度集成;
3. 設(shè)計分布式任務(wù)調(diào)度引擎、多環(huán)境隔離機制(開發(fā)/生產(chǎn))、任務(wù)發(fā)布灰度策略;
4. 解決數(shù)據(jù)集成(離線/實時)的高效同步、數(shù)據(jù)一致性校驗等技術(shù)難題;
5. 指導大數(shù)據(jù)組件開發(fā)工程師完成核心模塊的二次開發(fā)。
任職要求:
1. 5年以上大數(shù)據(jù)架構(gòu)經(jīng)驗,熟悉Hadoop生態(tài)及實時計算技術(shù)棧;
2. 有DataX/DolphinScheduler/OpenMetadata等開源組件深度改造經(jīng)驗;
3. 熟悉數(shù)據(jù)治理體系(元數(shù)據(jù)、血緣、質(zhì)量),掌握OpenMetadata或Atlas核心原理;
4. 具備大規(guī)模集群(千節(jié)點級)性能調(diào)優(yōu)經(jīng)驗,熟悉K8S容器化部署;
5. 技術(shù)視野開闊,能平衡開源與自研方案的技術(shù)邊界。
濟南 - 市中
濟南 - 歷下
濟南 - 歷下
濟南 - 歷下
濟南 - 歷下
濟南 - 歷下