崗位職責(zé):
1.承擔(dān)系統(tǒng)運維工作,包括確保企業(yè)系統(tǒng)的穩(wěn)定運行、性能優(yōu)化和故障排除;
2.負責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為公司的業(yè)務(wù)提供數(shù)據(jù)平臺的支持和保證;
3.負責(zé)企業(yè)數(shù)據(jù)平臺的架構(gòu)設(shè)計和技術(shù)框架選型,包括集群部署、下游數(shù)據(jù)集市搭建、數(shù)據(jù)交換分區(qū)架構(gòu)設(shè)計、數(shù)據(jù)湖或其他轉(zhuǎn)換系統(tǒng)的搭建,確保數(shù)據(jù)平臺的高效運轉(zhuǎn)和數(shù)據(jù)流暢;
4.具備項目規(guī)劃和決策能力,能夠捕捉業(yè)務(wù)需求和架構(gòu)設(shè)計中的問題,并提出有效的解決方案;
5.擁有較強的編碼能力。設(shè)計和開發(fā)系統(tǒng)整體功能模塊,主導(dǎo)項目的設(shè)計、模塊劃分和架構(gòu)搭建工作;
6.研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新和落地,參與制定并實踐團隊的技術(shù)發(fā)展路線;
7.對接數(shù)據(jù)治理相關(guān)工作。
任職要求:
1.擁有計算機、軟件工程、信息技術(shù)、應(yīng)用數(shù)學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷,具有2年以上相關(guān)工作經(jīng)驗;
2.具備大數(shù)據(jù)平臺部署經(jīng)驗,了解CDH、TDH、華為等國內(nèi)外大數(shù)據(jù)平臺架構(gòu),能夠獨立部署大數(shù)據(jù)環(huán)境,獨立部署大數(shù)據(jù)認證如Keyberos、LDAP等;
3.對整個數(shù)據(jù)流轉(zhuǎn)鏈路有深刻認識,并具備完善的數(shù)據(jù)建模理論體系知識;
4.熟悉SQL,熟練使用ORACLE、MYSQL、HIVE等常規(guī)數(shù)據(jù)庫,能夠編
5.寫高效的SQL語句和存儲過程,具有基于Greenplum、Hadoop、 MapReduce、Hive、Storm、Spark、kafka及HBase等應(yīng)用經(jīng)驗者優(yōu)先;
6.熟悉任意一種ETL開發(fā)工具:KETTLE、Datastage、Informatic等,具備數(shù)據(jù)模型設(shè)計工具的使用經(jīng)驗;
7.負責(zé)數(shù)據(jù)模型設(shè)計和開發(fā)工作,開發(fā)、調(diào)試和維護存儲過程、函數(shù)、包、ETL,進行SQL語句改寫和性能優(yōu)化;
8.具備出色的數(shù)據(jù)處理能力,包括但不限于Hadoop生態(tài)、Spark生態(tài)、kafka及Flink生態(tài)的數(shù)據(jù)處理和優(yōu)化能力;
9.具有良好的技術(shù)選型能力,包括從數(shù)據(jù)集成、數(shù)據(jù)存儲、數(shù)據(jù)計算到數(shù)據(jù)應(yīng)用側(cè)的組件技術(shù)選型;
10.具備數(shù)據(jù)治理能力,全面了解數(shù)據(jù)鏈路的數(shù)據(jù)質(zhì)量和風(fēng)險,能夠提出并執(zhí)行數(shù)據(jù)治理方案,確保數(shù)據(jù)鏈路的穩(wěn)定性和數(shù)據(jù)質(zhì)量。