工作職責(zé):
1、參與需求調(diào)研,負(fù)責(zé)開展業(yè)務(wù)分析,數(shù)據(jù)開發(fā)工作;
2、承擔(dān)數(shù)據(jù)抽取、清洗、轉(zhuǎn)換等數(shù)據(jù)處理程序開發(fā);
3、負(fù)責(zé)hadoop/flink大數(shù)據(jù)平臺規(guī)劃和開發(fā),對分布式存儲和計(jì)算原理有較深的理解;
4、參與指標(biāo)設(shè)計(jì),數(shù)據(jù)建模,負(fù)責(zé)將數(shù)據(jù)模型在系統(tǒng)中實(shí)現(xiàn);
5、負(fù)責(zé)多種類型的報(bào)表研發(fā)工作,包括鉆取類、表格類、圖表類等,測試和發(fā)布工作;
6、負(fù)責(zé)使用smartbi進(jìn)行可視化大屏、報(bào)表開發(fā);
7、參與編制數(shù)據(jù)安全管理規(guī)范,并有強(qiáng)烈的數(shù)據(jù)安全意識;
8、負(fù)責(zé)實(shí)施并落實(shí)公司元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)標(biāo)簽管理等管理規(guī)范,提升數(shù)據(jù)質(zhì)量;
9、負(fù)責(zé)大數(shù)據(jù)平臺的設(shè)計(jì)、運(yùn)維文檔編寫,平臺的搭建、優(yōu)化、維護(hù)及升級工作,保障大數(shù)據(jù)平臺安全穩(wěn)定運(yùn)行。
任職要求:
1、熟悉分布式系統(tǒng)的架構(gòu),有分布式系統(tǒng)架構(gòu)設(shè)計(jì)的經(jīng)驗(yàn),有Hadoop系統(tǒng)架構(gòu)設(shè)計(jì)經(jīng)驗(yàn),至少1個以上大型成熟項(xiàng)目的經(jīng)驗(yàn);
2、精通Hive,并有一定優(yōu)化經(jīng)驗(yàn),理解 Azkaban 體系架構(gòu),并有相當(dāng)開發(fā)經(jīng)驗(yàn);
3、熟悉數(shù)據(jù)倉庫的ETL的開發(fā),精通sql代碼編寫,掌握KETTLE工具使用,了解FineReport、Smartbi報(bào)表開發(fā)流程,有海量數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn);
4、熟悉數(shù)據(jù)治理框架,并有數(shù)據(jù)治理實(shí)踐經(jīng)驗(yàn);
5、熟悉數(shù)據(jù)中臺、主數(shù)據(jù)架構(gòu),并有指標(biāo)管理相關(guān)的項(xiàng)目經(jīng)驗(yàn)
6、有數(shù)據(jù)挖掘及python方面的經(jīng)驗(yàn)優(yōu)先