主要職責(zé):
1、負(fù)責(zé)實(shí)時(shí)數(shù)倉開發(fā)、優(yōu)化和治理工作。編寫和優(yōu)化 FlinkSQL/StarRocks SQL/Materialized View,支撐實(shí)時(shí)數(shù)據(jù)看板和人群畫像需求。
2、設(shè)計(jì)和實(shí)施高效的數(shù)據(jù)模型與Data Pipline,確保數(shù)據(jù)的一致性和可擴(kuò)展 性。
3、與團(tuán)隊(duì)合作,開發(fā)和維護(hù) ETL(提取、轉(zhuǎn)換、加載)流程4、監(jiān)控?cái)?shù)據(jù)質(zhì)量和性能,確保數(shù)據(jù)準(zhǔn)確性和及時(shí)性。
職位要求:
1、計(jì)算機(jī)科學(xué)、信息技術(shù)或相關(guān)領(lǐng)域的學(xué)士學(xué)位,
2、至少5年的數(shù)據(jù)開發(fā)經(jīng)驗(yàn),有實(shí)際的實(shí)時(shí)開發(fā)、實(shí)時(shí)數(shù)倉建設(shè)經(jīng)驗(yàn)。
3、熟悉 StarRocks/Doris、Flink、Spark、Hive 等大數(shù)據(jù)組件的基本原理和使 用,了解基本的調(diào)優(yōu)。
4、熟悉 Python/Java/Scala/Go 等編程語言的一種或多種,有扎實(shí)的開發(fā)經(jīng)驗(yàn)
5、了解數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、湖倉一體等概念;備較強(qiáng)的 trouble shooting 能力,能夠解決復(fù)雜的數(shù)據(jù)問題。
6、良好的溝通技巧和團(tuán)隊(duì)合作精神