工作內(nèi)容:
1. 負責大數(shù)據(jù)平臺相關組件的安裝、部署和升級工作;
2. 負責大數(shù)據(jù)平臺的日常運行維護,包括:日常巡檢、容量管理、安全管理、性能管理、版本升級、數(shù)據(jù)及應用遷移、災備演練等;
3. 負責大數(shù)據(jù)平臺的異常和故障處理,應急響應;
4. 對大數(shù)據(jù)平臺各個使用方提供技術支持;
5. 服從運營部24小時值班排班要求;
1. 通用能力要求
(1)本科及以上學歷,5年以上大數(shù)據(jù)相關經(jīng)驗;
(2)具備有較強的溝通能力和執(zhí)行能力;
(3)具有優(yōu)秀的團隊合作精神、敬業(yè)精神;
2. 技術能力要求
(1)掌握 hadoop,spark, hive, Tez, flink等組件的工作原理,有CDH或者HDP套件搭建經(jīng)驗,并且有3年以上部署運維大型集群的經(jīng)驗;
(2)熟悉大數(shù)據(jù)平臺組件升級、遷移、監(jiān)控、及自動化運維,有豐富的故障處理和性能調(diào)優(yōu)經(jīng)驗優(yōu)先;
(3)熟悉Linux/windows操作系統(tǒng)及存儲技術,熟悉Linux常用命令;
(4)熟悉Shell腳本或Python編程;
(5)了解 kafka,zookeeper,doris,clickhouse,es;
3. 業(yè)務能力要求
(1)具有實際動手搭建開源大數(shù)據(jù)平臺經(jīng)驗,至少熟悉上述部分組件的搭建過程;
(2)具有開源大數(shù)據(jù)組件搭建后的運維能力、有CDH或者HDP套件搭建經(jīng)驗的優(yōu)先;
(3)大型互聯(lián)網(wǎng)公司背景優(yōu)先,有過大數(shù)據(jù)平臺搭建經(jīng)驗者為優(yōu);