崗位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)中臺相關(guān)組件的開發(fā)工作;
2、制定數(shù)據(jù)治理方案,包括:數(shù)據(jù)清洗、數(shù)據(jù)規(guī)范、數(shù)據(jù)挖掘以及數(shù)據(jù)服務(wù)等方案的制定;
3、維護(hù)部門級大數(shù)據(jù)數(shù)據(jù)規(guī)范,包括:數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)字典、數(shù)據(jù)取值規(guī)范、數(shù)據(jù)共享規(guī)范等。
崗位要求:
1、統(tǒng)招本科及以上學(xué)歷,計算機(jī)相關(guān)專業(yè),工作年限5年以上,從事大數(shù)據(jù)工作3年以上;
2、熟練掌握Python、Java、Scala至少一門編程語言;
3、出色的業(yè)務(wù)學(xué)習(xí)能力、對于數(shù)據(jù)采集、加工、存儲、共享等數(shù)據(jù)架構(gòu)處理都需要把控,精通各類大數(shù)據(jù)技術(shù),如Hadoop、HBase、Hive、Kafka、Sqoop、flume、Spark、Sparkstream;掌握流處理技術(shù),有Flink落地經(jīng)驗(yàn)者優(yōu)先;
4、熟悉各類數(shù)據(jù)庫、數(shù)據(jù)倉庫產(chǎn)品,包括RDBMS(如Oracle、Sqlserver、Mysql)、No-SQL、時序庫等,具備優(yōu)化Sql的能力;
5、了解DevOps,了解Docker等概念;
6、了解常用的機(jī)器學(xué)習(xí)算法。