崗位職責:
1、參與公司大數(shù)據(jù)平臺的規(guī)劃、制定共享數(shù)據(jù)管理的規(guī)范,參與平臺產(chǎn)品的功能設計;
2、負責公司大數(shù)據(jù)平臺系統(tǒng)模塊的分解、接口設計、技術(shù)文檔規(guī)范的編制;
3、負責大數(shù)據(jù)平臺的研發(fā),解決大數(shù)據(jù)平臺開發(fā)過程的各類技術(shù)問題;
4、負責大數(shù)據(jù)平臺的數(shù)據(jù)治理,為數(shù)據(jù)應用場景提供規(guī)范、清潔的數(shù)據(jù);
5、開發(fā)可靠、高效、準確的數(shù)據(jù)集市, 并提供技術(shù)支持維護和升級大數(shù)據(jù)基礎設施。
任職要求:
1、熟悉使用Hadoop,Spark,HBase等大數(shù)據(jù)技術(shù)平臺,有大規(guī)模數(shù)據(jù)日志處理經(jīng)驗者優(yōu)先;
2、熟悉數(shù)據(jù)分析、數(shù)據(jù)挖掘、機器學習、分布式計算至少某一方面,有較深的理論研究和實踐經(jīng)驗優(yōu)先;
3、具有Hadoop/Spark,以及kafka、flume、hbase、hive、zookeeper等大數(shù)據(jù)生態(tài)圈實際開發(fā)經(jīng)驗。深入了解Hadoop/Spark生態(tài)圈產(chǎn)品的工作原理及應用場景;
4、掌握主流數(shù)據(jù)庫技術(shù)(如hbase、MySQL、MangoDB、elasticsearch等),并熟悉SQL開發(fā)。