崗位內(nèi)容:
1. 數(shù)據(jù)倉庫搭建與管理,設(shè)計和實施數(shù)據(jù)倉庫,制定ETL(提取、轉(zhuǎn)換、加載)相關(guān)的設(shè)計方案和開發(fā)計劃;評估數(shù)據(jù)源的格式、訪問方式和數(shù)據(jù)質(zhì)量,制定相應(yīng)的數(shù)據(jù)抽取策略
2. 數(shù)據(jù)管道設(shè)計與維護,構(gòu)建和維護數(shù)據(jù)管道,確保數(shù)據(jù)能夠高效地從源頭傳輸?shù)侥繕舜鎯ο到y(tǒng);使用自動化工具和持續(xù)監(jiān)控來優(yōu)化數(shù)據(jù)流和處理流程
3.數(shù)據(jù)遷移與轉(zhuǎn)換,負責將現(xiàn)有SQL Server數(shù)據(jù)庫中的OA和ERP系統(tǒng)數(shù)據(jù)遷移至PostgreSQL數(shù)據(jù)庫,并確保數(shù)據(jù)的完整性和一致性。
4. 數(shù)據(jù)采集與清洗,從各種數(shù)據(jù)源(如數(shù)據(jù)庫、數(shù)據(jù)倉庫、實時數(shù)據(jù)流等)收集數(shù)據(jù);數(shù)據(jù)清洗與預(yù)處理,并制作為視圖或者表單
5.技術(shù)與工具應(yīng)用,掌握多種編程語言(如Python、Java、SQL等),熟悉主流數(shù)據(jù)庫(如MySQL、Oracle等);使用Hadoop、Apache Spark等大數(shù)據(jù)處理工具進行數(shù)據(jù)分析和處理
6.合作與溝通,根椐需求設(shè)計和實施數(shù)據(jù)解決方案;參與制定數(shù)據(jù)分析相關(guān)制度流及標準規(guī)范,推動完狀況并落實實施。
任職要求:
1. 熟練掌握常見的數(shù)據(jù)庫類型、數(shù)據(jù)庫原理及其調(diào)優(yōu)方法,具有深入的數(shù)據(jù)庫技術(shù)功底。
2. 計算機科學(xué)、軟件工程、數(shù)據(jù)挖掘、機器學(xué)習(xí)等相關(guān)專業(yè)
3. 熟悉SQL和python,并掌握數(shù)據(jù)采集、清洗和預(yù)處理的能力;具備設(shè)計數(shù)據(jù)架構(gòu)、開發(fā)算法和構(gòu)建機器學(xué)習(xí)模型的能力
4. 技術(shù)能力(編程語言、數(shù)據(jù)庫管理、大數(shù)據(jù)技術(shù)、ETL工具、數(shù)據(jù)倉庫、數(shù)據(jù)可視化、機器學(xué)習(xí)與AI)與軟技能(溝通、協(xié)作能力,解決問題能力)