工作描述:
1.負(fù)責(zé)根據(jù)公司發(fā)展階段及業(yè)務(wù)需求,進(jìn)行大數(shù)據(jù)平臺數(shù)據(jù)采集、處理、存儲以及分析挖掘的架構(gòu)優(yōu)化與實現(xiàn);
2.負(fù)責(zé)根據(jù)業(yè)務(wù)需求,設(shè)計大數(shù)據(jù)解決方案,并落地開發(fā)實現(xiàn);
3.負(fù)責(zé)大數(shù)據(jù)相關(guān)技術(shù)發(fā)展方向的預(yù)研及落地;
4.制定大數(shù)據(jù)數(shù)據(jù)治理框架,架構(gòu)數(shù)據(jù)中臺、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)應(yīng)用等方案。
工作要求:
1. 本科生及以上學(xué)歷或研究生及以上學(xué)歷,計算機相關(guān)專業(yè),年齡在35周歲以下(含);
2. 熟悉Hadoop生態(tài)體系技術(shù),包括但不限于HDFS、MR、Yarn、Hive、HBase、ZK、Oozie、Hue、Impala;
3.熟悉Spark生態(tài)技術(shù)開發(fā)、部署、維護(hù);
4.熟悉Flink流處理框架,掌握Flink任務(wù)的開發(fā)、優(yōu)化、部署;
5.熟悉大數(shù)據(jù)生態(tài)中其他開源技術(shù)棧,如ElasticSeach、Redis、ClickHouse等;
6.熟悉常用的大數(shù)據(jù)調(diào)度框架;熟練掌握離線和實時數(shù)據(jù)倉庫的建模,能夠開發(fā)易維護(hù)、可擴(kuò)展的ETL代碼;
7.業(yè)務(wù)理解能力強,學(xué)習(xí)能力強,可以較快的學(xué)習(xí)大數(shù)據(jù)前沿技術(shù)并落地到公司實際業(yè)務(wù)場景。