崗位職責(zé):
1.負責(zé)大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(Hadoop/hive/spark/kafka/presto/impala)的規(guī)劃、部署、管理、擴容和優(yōu)化,保障平臺穩(wěn)定可靠高效運行,深入調(diào)優(yōu)Hadoop及其生態(tài)組件的各項參數(shù),以提升集群性能
2.負責(zé)線上數(shù)據(jù)平臺的運維,發(fā)現(xiàn)并解決性能瓶頸,支撐業(yè)務(wù)和數(shù)據(jù)量的快速增長,保障服務(wù)的穩(wěn)定性和可用性;
3.研究大數(shù)據(jù)前沿技術(shù),改進現(xiàn)有系統(tǒng)的運維架構(gòu),提升系統(tǒng)的運維效率,大數(shù)據(jù)計算方向的關(guān)鍵技術(shù)研究、難點攻克;
4.指導(dǎo)并解決團隊成員技術(shù)問題;
任職要求:
1、具有5年以上大數(shù)據(jù)平臺實施和(Hadoop/hive/spark/kafka/presto/impala)運維經(jīng)驗;
2、熟悉Hadoop生態(tài)系統(tǒng)核心組件的特點,豐富的Hadoop集群運維、故障解決、性能調(diào)優(yōu)經(jīng)驗;
3.能夠設(shè)計實時數(shù)據(jù)、離線數(shù)據(jù)處理架構(gòu)并搭建實現(xiàn)框架;熟練使用Shell(必備)、精能Python或java;
4.深入理解系統(tǒng)安全及審計日志分析,有過自動化監(jiān)控運維經(jīng)驗;
5、具備較好邏輯思維能力,有較強的抗壓能力,對解決挑戰(zhàn)性問題充滿熱情,善于解決問題和分析問題。
6、有大數(shù)據(jù)應(yīng)用產(chǎn)品開發(fā)、數(shù)倉架構(gòu),相關(guān)建設(shè)工作優(yōu)先。,