工作職責(zé):
? 參與整個(gè)系統(tǒng)開(kāi)發(fā)生命周期(SDLC),以確保項(xiàng)目成功交付。
? 進(jìn)行需求研究、分析、設(shè)計(jì)、文檔編制,并與用戶(hù)、技術(shù)團(tuán)隊(duì)和運(yùn)營(yíng)團(tuán)隊(duì)進(jìn)行協(xié)調(diào)。
? 分析和整理來(lái)自各種數(shù)據(jù)源的原始數(shù)據(jù)。
? 深入了解相關(guān)的數(shù)據(jù)工程最佳實(shí)踐。
? 使用第三范式(3NF)和維度建模技術(shù)為數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市設(shè)計(jì)數(shù)據(jù)模型。
? 設(shè)計(jì)和構(gòu)建數(shù)據(jù) API 和數(shù)據(jù)虛擬化,以供用戶(hù)和使用中的應(yīng)用程序訪(fǎng)問(wèn)數(shù)據(jù)。
? 設(shè)計(jì)、構(gòu)建和維護(hù) ETL 批處理和流數(shù)據(jù)管道。
設(shè)計(jì)和構(gòu)建數(shù)據(jù)平臺(tái)(數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖)。
? 支持用戶(hù)驗(yàn)收測(cè)試和系統(tǒng)實(shí)施。 ? 準(zhǔn)備系統(tǒng)和操作文檔。
? 提供持續(xù)的用戶(hù)和應(yīng)用程序支持。 ? 指導(dǎo)解決方案開(kāi)發(fā)人員。
職位要求:
? 擁有計(jì)算機(jī)科學(xué)、信息技術(shù)或相關(guān)學(xué)科的學(xué)位。 ? 至少有 4 年作為數(shù)據(jù)工程師的經(jīng)驗(yàn),在構(gòu)建批處理 ETL 和實(shí)時(shí)流數(shù)據(jù)管道、構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖和分析平臺(tái)方面有豐富經(jīng)驗(yàn)。
? 在數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)應(yīng)用的業(yè)務(wù)支持方面知識(shí)淵博且經(jīng)驗(yàn)豐富。 ? 熟練掌握編程語(yǔ)言:SQL、Python、PySpark、Java、JavaScript。
? 有數(shù)據(jù)庫(kù)方面的經(jīng)驗(yàn):Oracle - PL/SQL、Teradata 或類(lèi)似數(shù)據(jù)庫(kù)。
? 有 OpenShift 方面的經(jīng)驗(yàn) - Restful API、Apache Spark、Hadoop、Perl、Java、SAS。
? 有在 AWS 云數(shù)據(jù)平臺(tái)上的工作經(jīng)驗(yàn):S3、Redshift、EMR、Glue、MWAA、Lambda、DMS、Transfer Family、DevOps。
? 有 ETL 工具 Informatica 的經(jīng)驗(yàn)者優(yōu)先。
? 具備有效的英語(yǔ)和中文(粵語(yǔ))口頭和書(shū)面溝通能力。 ? 良好的分析、人際交往和問(wèn)題解決能力。
? 良好的團(tuán)隊(duì)合作精神、積極的態(tài)度、創(chuàng)新能力、自我主動(dòng)性強(qiáng)、渴望學(xué)習(xí)并與其他團(tuán)隊(duì)成員分享、勤奮努力、能夠在壓力下工作并獨(dú)立工作。
? 資格和經(jīng)驗(yàn)較少的候選人將被考慮為數(shù)據(jù)工程師開(kāi)發(fā)人員。