1.2年以上的大數(shù)據(jù)處理、數(shù)據(jù)挖掘等相關領域的科研/開發(fā)經(jīng)驗;熟悉分布式OLAP,有實際使用經(jīng)驗以及平臺集群搭建,有實際項目經(jīng)驗優(yōu)先;
2. 掌握分布式緩存、消息隊列,對高并發(fā)、大流量系統(tǒng)性能優(yōu)化有一定的經(jīng)驗;
3. 熟練運用MapReduce/Spark/Flink等其中一種大數(shù)據(jù)計算工具的編程;
4. 掌握java及WEB應用軟件開發(fā),了解軟件開發(fā)流程,熟悉Linux平臺,熟練運用Shell或Python腳本;
5. 了解常用算法,有推薦系統(tǒng)/知識圖譜/反欺詐等算法工程應用的研發(fā)經(jīng)驗,熟練掌握大規(guī)模數(shù)據(jù)挖掘、機器學習者優(yōu)先;
6. 熟練掌握Hadoop、Spark、Flink等大數(shù)據(jù)計算技術,并在中大型項目中有相關實際經(jīng)驗;
7. 熟練掌握presto、Spark
SQL、Drill等大數(shù)據(jù)即時查詢技術,并有Trouble Shooting的實際經(jīng)驗;
8. 精通SQL,有較好的SQL性能調優(yōu)經(jīng)驗,熟悉常用的SQL分析函數(shù),有Postgres SQL數(shù)據(jù)庫項目經(jīng)驗優(yōu)先;
崗位職責:
1. 參與大數(shù)據(jù)應用相關產(chǎn)品的架構設計,從事大數(shù)據(jù)平臺上數(shù)據(jù)挖掘產(chǎn)品的規(guī)劃及研發(fā);
2. 參與業(yè)務數(shù)據(jù)的結構化和存儲架構設計,從事數(shù)據(jù)勘探、加工,主題庫和數(shù)據(jù)提煉;
3. 從事大數(shù)據(jù)平臺性能分析與系統(tǒng)優(yōu)化,不斷提高系統(tǒng)運行效率;
4. 參與數(shù)據(jù)倉庫和大數(shù)據(jù)平臺的環(huán)境搭建、架構設計、監(jiān)控和優(yōu)化;
5. 負責離線和在線數(shù)據(jù)的采集、清洗和加載;
6. 負責分布式批量數(shù)據(jù)處理、分布式內存計算、數(shù)據(jù)倉庫OLAP類查詢統(tǒng)計等離線計算;
7. 參與實時數(shù)據(jù)流的數(shù)據(jù)處理、查詢統(tǒng)計和分析預測等在線計算;
職位福利: 五險一金、周末雙休、帶薪年假、節(jié)日福利
天津 - 西青
達信致遠(天津)科技有限公司天津
延鋒國際座椅系統(tǒng)有限公司天津 - 河西
天津開明管理技術咨詢有限公司