1. 學(xué)歷要求:專科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、信息技術(shù)等計(jì)算機(jī)相關(guān)專業(yè);
2. 工作經(jīng)驗(yàn):至少2年及以上數(shù)據(jù)湖建設(shè)經(jīng)驗(yàn),參與過數(shù)據(jù)湖的離線分析開發(fā)工作,有星環(huán)大數(shù)據(jù)平臺開發(fā)經(jīng)驗(yàn)優(yōu)先考慮。
3. 技術(shù)能力:
(1) 熟悉Hive的使用,能夠編寫高效的HSQL查詢語句;
(2) 理解Hive的內(nèi)部原理,有Hive優(yōu)化經(jīng)驗(yàn),能夠針對復(fù)雜查詢進(jìn)行性能調(diào)優(yōu);
(3) 有實(shí)際的數(shù)據(jù)湖開發(fā)和設(shè)計(jì)經(jīng)驗(yàn),能夠處理大規(guī)模數(shù)據(jù)集;
(4) 有實(shí)際的指標(biāo)明細(xì)層設(shè)計(jì)開發(fā)經(jīng)驗(yàn);
4. 個人素質(zhì):
(1) 具備良好的邏輯思維能力,能夠獨(dú)立分析和解決問題;
(2) 有一定的抗壓能力,能夠接受項(xiàng)目緊張時期的加班;
(3) 良好的團(tuán)隊(duì)合作精神和溝通能力,能夠與團(tuán)隊(duì)成員有效協(xié)作。
崗位職責(zé):
1. 參與公司數(shù)據(jù)湖的建設(shè),做過數(shù)據(jù)湖實(shí)施;
2. 參與數(shù)據(jù)湖的離線分析開發(fā),編寫HSQL進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)換和加載(ETL);
3. 對現(xiàn)有Hive查詢進(jìn)行性能分析和優(yōu)化,提高查詢效率;
4. 支持?jǐn)?shù)據(jù)分析,為業(yè)務(wù)部門提供數(shù)據(jù)支持。
5. 參與數(shù)據(jù)治理和質(zhì)量管理,確保數(shù)據(jù)湖中的數(shù)據(jù)準(zhǔn)確性和可靠性;