1)數(shù)據(jù)接入、分析和挖掘工作;
2)基于數(shù)據(jù)的離線和實(shí)時(shí)流分析;
3)支撐業(yè)務(wù)的數(shù)據(jù)模型建設(shè)以及數(shù)據(jù)指標(biāo)的計(jì)算和分析;
4)數(shù)據(jù)存儲(chǔ)、查詢和運(yùn)營(yíng)數(shù)據(jù)分析體系搭建;
5)運(yùn)用Hadoop\Spark\ES等分布式計(jì)算和存儲(chǔ)平臺(tái);
6)ETL流程的優(yōu)化。
1)2年及以上信息化建設(shè)工作經(jīng)驗(yàn),本科及以上學(xué)歷(公辦大學(xué));
2)Hadoop相關(guān)技術(shù)(開發(fā)、部署、調(diào)優(yōu)),理解MapReduce原理和過程;
3)編程語(yǔ)言:Python/Java(常用框架和中間件);
4)Spark/Flink(架構(gòu)及開發(fā))、ES、Flume/Filebea/Kafka/RocketMQ/RabbitMQ相關(guān)技術(shù)深入了解;
5)熟練使用SQL、ETL開發(fā);
6)數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)、數(shù)據(jù)庫(kù)設(shè)計(jì)。