崗位描述:
1、構(gòu)建基于網(wǎng)絡(luò)信息安全的大數(shù)據(jù)平臺,設(shè)計并優(yōu)化大數(shù)據(jù)基礎(chǔ)平臺。支持數(shù)據(jù)采集、存儲計算、分析、監(jiān)控和可視化全過程;
2、解決數(shù)據(jù)規(guī)模增長帶來的技術(shù)、異地存儲檢索等業(yè)務(wù)問題;支撐上層應(yīng)用對底層平臺數(shù)據(jù)采集、存儲/計算、調(diào)度、數(shù)據(jù)安全等能力的訴求,保障應(yīng)用的高效穩(wěn)定運行;
3、搭建基于Flink/Hadoop/Hive/Spark/Storm/Kafka 等的大數(shù)據(jù)平臺,并負責集群日常維護管理,提供穩(wěn)定的平臺服務(wù);
4、負責對Fink/Hadoop/Spark開發(fā)、使用中的技術(shù)問題提供支持;
5、參與項目的需求分析和設(shè)計工作,特別是數(shù)據(jù)分析和呈現(xiàn)部分,并完成相關(guān)技術(shù)文檔的編寫;
6、可以解決工作中的技術(shù)難題,并據(jù)業(yè)務(wù)需求提供方案設(shè)計支持;平臺組件性能調(diào)優(yōu)和資源調(diào)度優(yōu)化。
任職要求:
1、本科及以上學(xué)歷,計算機、軟件工程相關(guān)專業(yè),5年以上開發(fā)經(jīng)驗,其中3年以上大數(shù)據(jù)從業(yè)經(jīng)驗;
2、掌握常用的Java開發(fā)相關(guān)工具,如Idea,Maven,Git等,具備一定的Flink開發(fā)能力,能夠參與實時數(shù)倉設(shè)計與開發(fā);
3、精通Scala語言,熟悉Hadoop/Hive/Spark/Storm/Flink/Kafka/ElasticSearch等大數(shù)據(jù)相關(guān)技術(shù),了解集群的部署升級、擴容縮容、性能和管理優(yōu)化、問題排查等;
4、熟練掌握Python編程語言,及Python相關(guān)的WEB開發(fā)框架(例如Flask、Django);
5、linux操作系統(tǒng)操作熟練,具備進行復(fù)雜腳本(Shell/Python等)編程開發(fā)能力;管理及優(yōu)化,以及排查及解決操作系統(tǒng)層常見的問題;
6、精通SQL,熟悉Mysql/Oracle處理機制及應(yīng)用場景;熟悉NOSQL,如Redis、Hbase、MongoDB等;
7、有Druid、Clickhouse 或Kylin使用及性能優(yōu)化經(jīng)驗者優(yōu)先;
8、了解常見的全文搜索引擎,Elasticsearch、Apache Solr、RediSearch等;
9、熟悉大數(shù)據(jù)領(lǐng)域的解決方案,具備該領(lǐng)域全面的技術(shù)積累,思維清晰敏捷,邏輯分析能力強,有獨立進行軟件設(shè)計和解決問題的能力。