職位概述:團(tuán)隊(duì)中需要一位經(jīng)驗(yàn)豐富的數(shù)據(jù)工程師,負(fù)責(zé)設(shè)計(jì)、構(gòu)建和維護(hù)高效的數(shù)據(jù)管道和數(shù)據(jù)存儲(chǔ)解決方案。候選人需要應(yīng)具備強(qiáng)大的技術(shù)背景,能夠處理大規(guī)模數(shù)據(jù)集,并確保數(shù)據(jù)的準(zhǔn)確性和可用性。數(shù)據(jù)工程師將與數(shù)據(jù)科學(xué)家、分析師和業(yè)務(wù)團(tuán)隊(duì)緊密合作,以支持公司的數(shù)據(jù)驅(qū)動(dòng)決策和業(yè)務(wù)增長(zhǎng)。
崗位職責(zé):
1、設(shè)計(jì)和開發(fā)高效的數(shù)據(jù)管道,確保數(shù)據(jù)從各種來源(如數(shù)據(jù)庫、API、文件系統(tǒng)等)的可靠傳輸和處理。
2、構(gòu)建和優(yōu)化數(shù)據(jù)存儲(chǔ)解決方案,包括數(shù)據(jù)倉庫和數(shù)據(jù)湖,以支持?jǐn)?shù)據(jù)分析和機(jī)器學(xué)習(xí)項(xiàng)目。
3、利用人工智能技術(shù)進(jìn)行數(shù)據(jù)清洗,自動(dòng)識(shí)別和糾正數(shù)據(jù)中的異常、缺失值和重復(fù)記錄,提高數(shù)據(jù)質(zhì)量和準(zhǔn)確性。
4、應(yīng)用人工智能算法對(duì)數(shù)據(jù)進(jìn)行深入挖掘和分析,發(fā)現(xiàn)數(shù)據(jù)中的潛在模式和關(guān)聯(lián),為業(yè)務(wù)決策提供有價(jià)值的洞察和建議。
5、與業(yè)務(wù)與技術(shù)團(tuán)隊(duì)合作,提供技術(shù)支持和優(yōu)化數(shù)據(jù)處理流程。
6、監(jiān)控?cái)?shù)據(jù)管道的性能,及時(shí)發(fā)現(xiàn)并解決潛在問題。
7、編寫和維護(hù)技術(shù)文檔,確保數(shù)據(jù)架構(gòu)和流程的可追溯性和可維護(hù)性。
8、跟蹤最新的數(shù)據(jù)工程技術(shù)和工具,評(píng)估并引入適合公司需求的新技術(shù)。
9、領(lǐng)導(dǎo)安排的其它工作。
任職資格:
1、計(jì)算機(jī)科學(xué)、信息技術(shù)或相關(guān)領(lǐng)域的學(xué)士學(xué)位。
2、至少3年相關(guān)領(lǐng)域的數(shù)據(jù)工程經(jīng)驗(yàn)。
3、熟練掌握SQL和至少一種編程語言(如Python、Java、Scala等)。
4、熟悉數(shù)據(jù)存儲(chǔ)技術(shù),如關(guān)系型數(shù)據(jù)庫(如PostgreSQL、MySQL)、非關(guān)系型數(shù)據(jù)庫(如MongoDB、Cassandra)和數(shù)據(jù)倉庫(如Snowflake、Redshift)。
5、了解大數(shù)據(jù)處理框架,如Apache Spark、Hadoop等。
6、具備數(shù)據(jù)清洗和數(shù)據(jù)質(zhì)量保證的經(jīng)驗(yàn)。
7、優(yōu)秀的分析和問題解決能力。
8、 良好的溝通能力和團(tuán)隊(duì)合作精神。
9、 適應(yīng)快速變化的技術(shù)環(huán)境,愿意學(xué)習(xí)新技術(shù)。
加分項(xiàng):
1、數(shù)據(jù)庫性能優(yōu)化經(jīng)驗(yàn)。
2、熟悉云平臺(tái)(如AWS、Azure、Google Cloud)的數(shù)據(jù)服務(wù)。
3、有使用ETL工具(如Talend、Informatica)的經(jīng)驗(yàn)。
4、了解機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)的基本概念。
北京 - 海淀
北京中科航天人才服務(wù)有限公司北京 - 西城
河北科迪新能源科技有限公司北京 - 西城
中科軟科技股份有限公司北京 - 西城
北京博興高科科技有限公司北京 - 豐臺(tái)
北京融通智慧科技集團(tuán)有限公司北京 - 朝陽
智聯(lián)招聘