工作職責(zé):
1、保障ETL調(diào)度正常運(yùn)行,保障數(shù)據(jù)時(shí)效性,準(zhǔn)確性(包含:實(shí)時(shí),分鐘,小時(shí),日,月);
2、調(diào)度優(yōu)化;
3、日常問題核查,處理;
4、一般業(yè)務(wù)問題核查;
5、使用ETL工具或腳本,主機(jī)FTP工具,進(jìn)行數(shù)據(jù)接入和傳輸。
崗位要求:
1、計(jì)算機(jī)及數(shù)學(xué)等相關(guān)專業(yè)大專及以上;
2、熟悉Shell和Linux開發(fā)環(huán)境,熟悉Python、SHELL語言,精通SQL,有Hadoop、Spark相關(guān)經(jīng)驗(yàn)優(yōu)先;
3、悉業(yè)內(nèi)目前主流ETL工具,有UAP、UCX、dataos維護(hù)經(jīng)驗(yàn)者優(yōu)先;
4、保障大數(shù)據(jù)平臺(tái)穩(wěn)定性和可靠性,計(jì)算機(jī)相關(guān)專業(yè) 熟悉/精通linux操作系統(tǒng)、熟悉Hadoop、tomcat、nginx、Kafka、Redis 、HBase 、Zookeeper、Hdfs、Hive、Spark、Storm等組件的工作原理,熟練掌握J(rèn)ava/Python/Shell/Go等至少一種開發(fā)語言;
5、具備良好的邏輯分析能力,善于溝通,有較強(qiáng)的責(zé)任心。