必要條件:
1、統(tǒng)招本科。
2、帶領(lǐng)團(tuán)隊實現(xiàn)過大數(shù)據(jù)項目的全生命周期業(yè)務(wù)。
3、保持技術(shù)開發(fā)能力。
以下職責(zé)為大數(shù)據(jù)工程師職責(zé),項目經(jīng)理要有整體掌握。
崗位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)治理體系規(guī)劃,包括數(shù)據(jù)管理體系的現(xiàn)狀問題診斷,規(guī)劃數(shù)據(jù)治理框架,起草數(shù)據(jù)治理相關(guān)制度,制定數(shù)據(jù)治理考核指標(biāo),高質(zhì)量完成數(shù)據(jù)治理工作匯報;
2、負(fù)責(zé)數(shù)據(jù)治理的專項工作實施,包括推動數(shù)據(jù)內(nèi)部流通共享,制定數(shù)據(jù)標(biāo)準(zhǔn),提升重點(diǎn)領(lǐng)域數(shù)據(jù)質(zhì)量,梳理監(jiān)管指標(biāo)字典等;
3、負(fù)責(zé)數(shù)據(jù)治理相關(guān)的用戶交流、溝通,完成業(yè)務(wù)梳理,制定技術(shù)方案并實現(xiàn);
4、參與數(shù)據(jù)應(yīng)用系統(tǒng)需求分析、建模、數(shù)據(jù)清洗、加工、分類等開發(fā)工作,負(fù)責(zé)數(shù)據(jù)治理項目的實施工作;
5、多源異構(gòu)數(shù)據(jù)接入工作:歸集、數(shù)據(jù)元梳理、清洗、建模、API開發(fā)、跨網(wǎng)接入等;
6、接受異地出差,有項目管理經(jīng)驗者優(yōu)先;
任職要求:
1、扎實的計算機(jī)基礎(chǔ),熟練使用Linux命令,會編寫shell和python腳本,熟練使用java語言。
2、熟練掌握數(shù)據(jù)治理相關(guān)方法論和數(shù)據(jù)治理體系架構(gòu),深入理解數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、企業(yè)級數(shù)據(jù)建模、主數(shù)據(jù)管理等方法;
3、熟悉開源的數(shù)據(jù)治理工具或者成熟商用的數(shù)據(jù)治理工具;
4、熟悉Oracle、MySQL、Hive、DWS各種常見數(shù)據(jù)庫,熟練掌握sql語法和存儲過程,包括關(guān)聯(lián)查詢,高階內(nèi)置函數(shù)應(yīng)用等,有較好的SQL性能調(diào)優(yōu)經(jīng)驗,具備處理大數(shù)據(jù)量、復(fù)雜業(yè)務(wù)邏輯的經(jīng)驗。
5、熟悉java或python編程和開發(fā),具備API開發(fā)能力,具備多源異構(gòu)數(shù)據(jù)接入能力。
6、熟悉數(shù)據(jù)倉庫領(lǐng)域知識和技能者優(yōu)先,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理,數(shù)據(jù)體系和數(shù)據(jù)價值的建設(shè)及優(yōu)化;
7、掌握數(shù)據(jù)管理治理的相關(guān)理論,熟悉數(shù)據(jù)治理、數(shù)據(jù)標(biāo)準(zhǔn)、企業(yè)級數(shù)據(jù)建模、主數(shù)據(jù)、元數(shù)據(jù)管理等方法論,了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構(gòu)、多維數(shù)據(jù)模型設(shè)計,掌握數(shù)據(jù)挖掘數(shù)理知識;
8、熟悉大數(shù)據(jù)架構(gòu),有一定的大數(shù)據(jù)系統(tǒng)架構(gòu)性能優(yōu)化及故障排除能力,熟悉Hadoop、hdfs、hive、hbase、zookeeper、Yarn、Kafka、Spark、Flink、ClickHouse、Doris、Hudi、Paimon、SeaTunnel、DolphinScheduler等相關(guān)技術(shù),具備實時或離線數(shù)據(jù)研發(fā)能力者優(yōu)先;