崗位職責(zé):
1.負(fù)責(zé)公司大數(shù)據(jù)存儲相關(guān)產(chǎn)品的架構(gòu)設(shè)計和系統(tǒng)調(diào)優(yōu);
2.能夠與產(chǎn)品經(jīng)理、管理團(tuán)隊進(jìn)行良好的溝通合作,按時保質(zhì)保量完成開發(fā)任務(wù);
3.推動數(shù)據(jù)治理、數(shù)據(jù)服務(wù)化、數(shù)據(jù)產(chǎn)品化等相關(guān)工作,優(yōu)化數(shù)據(jù)系統(tǒng)架構(gòu);
4.深入理解業(yè)務(wù),挖掘數(shù)據(jù)價值,對業(yè)務(wù)進(jìn)行合理的抽象和建模,構(gòu)建準(zhǔn)確、穩(wěn)定、高效的離線和實(shí)時數(shù)據(jù)體系。
職位要求:
1.熟悉數(shù)據(jù)結(jié)構(gòu)和算法,具備扎實(shí)的程序設(shè)計基礎(chǔ)和學(xué)習(xí)能力;
2.大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)3年以上,熟悉并理解緩存、消息、RPC調(diào)用框架、JVM 調(diào)優(yōu)、序列化、NIO等原理,對各種開源框架如Spring、dubbo等有深入了解,讀過源代碼、自己寫過框架優(yōu)先;
3.熟悉Spark/Hadoop/Flink/Clickhouse等大數(shù)據(jù)生態(tài)技術(shù)棧,具備較強(qiáng)的的SQL/ETL開發(fā)和性能調(diào)優(yōu)能力,對代碼質(zhì)量有嚴(yán)格要求;
4.了解典型數(shù)據(jù)挖掘工具,熟練應(yīng)用各種分類聚類算法,熟悉各種相關(guān)性算法,回歸算法,了解常用的社交分析模型,具有數(shù)據(jù)挖掘算法開發(fā)經(jīng)驗(yàn);
5.掌握Flink 技術(shù)原理以及熟悉相關(guān)API開發(fā)經(jīng)驗(yàn);
6.有BI開發(fā)(包括Spark SQL、Hive SQL、大數(shù)據(jù)DBA 等)經(jīng)驗(yàn)者優(yōu)先;
7.有大數(shù)據(jù)查詢系統(tǒng)(包括Phoenix、Presto、Impala、Kylin、Greenplum等)經(jīng)驗(yàn)者優(yōu)先;
8.具有強(qiáng)烈的責(zé)任心,良好的溝通、學(xué)習(xí)能力,良好的團(tuán)隊合作意識,勇于接受技術(shù)挑戰(zhàn),對技術(shù)充滿熱情。