崗位要求:
1、計(jì)算機(jī)、信息技術(shù)、數(shù)據(jù)科學(xué)或相關(guān)專業(yè)的
本科及以上學(xué)歷。
2、熟悉Apache Hive及其生態(tài)(如Hadoop.HDFS等),能夠熟練使用HiveSQL進(jìn)行數(shù)據(jù)開
發(fā)、hiveSQL優(yōu)化,會(huì)使用ADS優(yōu)先。
3、了解大數(shù)據(jù)架構(gòu)及相關(guān)技術(shù),如Hadoop、
Spark、Kafka等,對(duì)數(shù)據(jù)流和處理流程有一定
的認(rèn)識(shí)。
4、熟悉Azkaban等調(diào)度工具,能夠編寫ETL腳
本或調(diào)度作業(yè)。
5、理解數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)治理的基本概念及應(yīng)用,對(duì)SQL有扎實(shí)的基礎(chǔ)。
6、具備較強(qiáng)的數(shù)據(jù)分析能力和業(yè)務(wù)理解能力,能夠根據(jù)業(yè)務(wù)需求設(shè)計(jì)合理的數(shù)據(jù)模型。
7、大數(shù)據(jù)開發(fā)hive方面經(jīng)驗(yàn)4年以上,有風(fēng)控項(xiàng)目建設(shè)經(jīng)驗(yàn)。
工作內(nèi)容:
1.負(fù)責(zé)風(fēng)控系統(tǒng)所需的數(shù)據(jù)接入,加工處理,數(shù)據(jù)治理;
2.設(shè)計(jì)并實(shí)現(xiàn)大數(shù)據(jù)處理流程,提取和分析風(fēng)控相關(guān)數(shù)據(jù);
3.協(xié)助其他團(tuán)隊(duì)成員進(jìn)行數(shù)據(jù)處理和分析工作,提供技術(shù)支持;
4.對(duì)大數(shù)據(jù)平臺(tái)各個(gè)使用方提供技術(shù)支持;
5.負(fù)責(zé)風(fēng)控系統(tǒng)特征變量開發(fā)。