崗位職責(zé):
1.設(shè)計(jì)、開發(fā)并維護(hù)大數(shù)據(jù)處理架構(gòu),涵蓋Hbase、Hadoop 生態(tài)系統(tǒng)。
2.深度參與完整的數(shù)據(jù)倉庫設(shè)計(jì)和建設(shè)工作,保障數(shù)據(jù)的精準(zhǔn)性、完整性與一致性。
3.開發(fā)和優(yōu)化數(shù)據(jù)提取、轉(zhuǎn)換和加載(ETL)流程,提高數(shù)據(jù)處理效率。
4.熟練運(yùn)用數(shù)據(jù)分析工具和先進(jìn)技術(shù),進(jìn)行精細(xì)的數(shù)據(jù)清洗、預(yù)處理以及建模工作, 為深度的數(shù)據(jù)分析和挖掘提供堅(jiān)實(shí)支持。
5.靈活利用 Python 語言進(jìn)行復(fù)雜的數(shù)據(jù)預(yù)處理和特征工程。
6.與跨職能團(tuán)隊(duì)緊密合作,深入理解業(yè)務(wù)需求,精心提供切實(shí)可行的數(shù)據(jù)解決方案。
7.嚴(yán)密監(jiān)控和優(yōu)化大數(shù)據(jù)系統(tǒng)的性能,及時(shí)、有效地解決各類技術(shù)問題和突發(fā)故障。
8.迅速處理數(shù)據(jù)處理任務(wù)中出現(xiàn)的內(nèi)存溢出等棘手性能問題。
要求:
1.持有計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)學(xué)、數(shù)學(xué)或相關(guān)領(lǐng)域的本科及以上學(xué)歷。
2.具備至少 3 年的大數(shù)據(jù)項(xiàng)目開發(fā)經(jīng)驗(yàn),熟悉 Hbase、Hadoop 生態(tài)系統(tǒng)及相關(guān)技術(shù)。
3.熟練掌握 Java、Python、Scala 等編程語言,熟悉一種及以上的主流數(shù)據(jù)庫
4.精通數(shù)據(jù)倉庫設(shè)計(jì)原則,熟練運(yùn)用 SQL 進(jìn)行復(fù)雜查詢和數(shù)據(jù)操作。
5.擁有良好的問題解決能力與團(tuán)隊(duì)合作精神,能夠在高強(qiáng)度工作環(huán)境下獨(dú)立開展工作。
6.對(duì)新興技術(shù)抱有強(qiáng)烈的學(xué)習(xí)熱忱和探索欲望,能夠迅速適應(yīng)業(yè)務(wù)需求的動(dòng)態(tài)變化。
加分項(xiàng):
具有在云平臺(tái)(如阿里云)上的大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)。
熟悉阿里云的相關(guān)數(shù)據(jù)產(chǎn)品,如 MaxCompute、DataWorks 等。
擁有數(shù)據(jù)可視化和數(shù)據(jù)分析報(bào)告的豐富經(jīng)驗(yàn)。