職位描述:
實時/批次數(shù)據(jù)分析方向,負責數(shù)據(jù)分析的設(shè)計和開發(fā),為業(yè)務(wù)提供標準化高性能的特征計算,保障系統(tǒng)穩(wěn)定和高可用。
1、為大規(guī)模數(shù)據(jù)分析系統(tǒng)設(shè)計和實現(xiàn)合理的數(shù)據(jù)系統(tǒng);
2、設(shè)計和實現(xiàn)必要的機制和工具保障生產(chǎn)系統(tǒng)整體運行的穩(wěn)定性;
3、基于流式計算框架等分布式系統(tǒng)為海量數(shù)據(jù)和大規(guī)模業(yè)務(wù)系統(tǒng)提供可靠的基礎(chǔ)服務(wù)。
職位要求:
1、熟悉Java、Python等編程語言,有熟練的編碼和問題分析能力;
2、對大數(shù)據(jù)系統(tǒng)有深入的了解,在生產(chǎn)環(huán)境有TB級別Flink實時計算系統(tǒng)開發(fā)經(jīng)驗,深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模塊,有Flink源碼閱讀經(jīng)驗優(yōu)先;
3、熟悉Clickhouse,有相關(guān)項目開發(fā)經(jīng)驗,了解表引擎者優(yōu)先
4、熟悉常見消息隊列原理和應(yīng)用調(diào)優(yōu),有Kafka、MQ等項目源碼閱讀經(jīng)驗優(yōu)先;
5、樂于挑戰(zhàn)沒有明顯答案的問題,對新技術(shù)有強烈的學習熱情,有PB級別數(shù)據(jù)處理經(jīng)驗優(yōu)先;
6、需要有數(shù)倉系統(tǒng)經(jīng)驗,Clickhouse、Doris等。