1、數(shù)據(jù)平臺(tái)設(shè)計(jì)與開(kāi)發(fā):
· 負(fù)責(zé)核聚變實(shí)驗(yàn)數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)與實(shí)現(xiàn),包括數(shù)據(jù)采集、存儲(chǔ)、處理、分析和可視化全鏈路。
· 設(shè)計(jì)并實(shí)現(xiàn)高效的實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)方案,支持 PB 級(jí)別數(shù)據(jù)的高效寫(xiě)入與查詢(xún)。
2、 數(shù)據(jù)管道構(gòu)建:
· 開(kāi)發(fā)可靠的數(shù)據(jù) ETL 流程,支持實(shí)驗(yàn)數(shù)據(jù)從采集到分析的全程自動(dòng)化。
· 構(gòu)建支持實(shí)時(shí)和離線(xiàn)計(jì)算的數(shù)據(jù)管道,滿(mǎn)足不同實(shí)驗(yàn)場(chǎng)景的分析需求。
3、 數(shù)據(jù)計(jì)算與優(yōu)化:
· 使用分布式計(jì)算框架(如 Flink、Spark 等)處理和分析海量實(shí)驗(yàn)數(shù)據(jù)。
· 優(yōu)化數(shù)據(jù)存儲(chǔ)與計(jì)算性能,提升查詢(xún)速度和系統(tǒng)穩(wěn)定性。
4、系統(tǒng)監(jiān)控與維護(hù):
· 搭建監(jiān)控和告警系統(tǒng),確保數(shù)據(jù)平臺(tái)的高可用性和穩(wěn)定性。
· 定期對(duì)系統(tǒng)進(jìn)行性能評(píng)估和優(yōu)化,支持?jǐn)U展性和容災(zāi)能力。
5、團(tuán)隊(duì)協(xié)作與支持:
· 與科研團(tuán)隊(duì)緊密合作,理解核聚變實(shí)驗(yàn)數(shù)據(jù)的特性和需求,設(shè)計(jì)針對(duì)性的解決方案。
· 為團(tuán)隊(duì)提供技術(shù)支持與指導(dǎo),推動(dòng)數(shù)據(jù)開(kāi)發(fā)團(tuán)隊(duì)的技術(shù)能力提升。
必備條件:
1、計(jì)算機(jī)科學(xué)、數(shù)學(xué)、物理或相關(guān)專(zhuān)業(yè)碩士及以上學(xué)歷,具備 3 年以上數(shù)據(jù)開(kāi)發(fā)或大數(shù)據(jù)處理相關(guān)工作經(jīng)驗(yàn)。
2、熟悉以下技術(shù)棧中的至少一種:
l 分布式計(jì)算框架:Flink、Spark、Hadoop 等。
l 數(shù)據(jù)庫(kù)與存儲(chǔ):ClickHouse、PostgreSQL、HBase 或其他分布式數(shù)據(jù)庫(kù)。
l 消息隊(duì)列:Kafka、RabbitMQ 等。
3、熟練掌握數(shù)據(jù)建模、ETL 流程開(kāi)發(fā),能夠在復(fù)雜場(chǎng)景下設(shè)計(jì)高效的數(shù)據(jù)管道。
4、深入理解分布式系統(tǒng)原理,具備大規(guī)模數(shù)據(jù)處理與性能優(yōu)化的經(jīng)驗(yàn)。
5、熟悉 Linux 操作系統(tǒng),熟練使用 Shell 腳本、Python 或 Java 進(jìn)行開(kāi)發(fā)。
6、較強(qiáng)的溝通能力,能夠與科研人員、產(chǎn)品團(tuán)隊(duì)和開(kāi)發(fā)團(tuán)隊(duì)高效協(xié)作。
7、與科研團(tuán)隊(duì)緊密合作,理解核聚變實(shí)驗(yàn)數(shù)據(jù)的特性和需求,設(shè)計(jì)針對(duì)性的解決方案。
8、為團(tuán)隊(duì)提供技術(shù)支持與指導(dǎo),推動(dòng)數(shù)據(jù)開(kāi)發(fā)團(tuán)隊(duì)的技術(shù)能力提升。
廊坊 - 廣陽(yáng)區(qū)
新奧集團(tuán)廊坊 - 固安縣
天津宏康達(dá)石油工程技術(shù)服務(wù)有限公司廊坊 - 廣陽(yáng)區(qū)
新奧集團(tuán)