崗位職責(zé):
1. 負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)大數(shù)據(jù)處理系統(tǒng),包括數(shù)據(jù)采集、清洗、存儲(chǔ)、處理和分析等各個(gè)環(huán)節(jié)。
2. 維護(hù)現(xiàn)有的大數(shù)據(jù)平臺(tái),確保系統(tǒng)的穩(wěn)定性和高可用性。
3. 對(duì)大數(shù)據(jù)處理流程進(jìn)行性能調(diào)優(yōu),提升數(shù)據(jù)處理效率。
4. 參與數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn),構(gòu)建高效的數(shù)據(jù)模型以支持業(yè)務(wù)需求。
5. 制定并實(shí)施數(shù)據(jù)質(zhì)量管理策略,確保數(shù)據(jù)的準(zhǔn)確性和一致性。
6. 持續(xù)關(guān)注大數(shù)據(jù)領(lǐng)域的新技術(shù)和新工具,評(píng)估其適用性并引入到項(xiàng)目中。
7. 編寫(xiě)相關(guān)的設(shè)計(jì)文檔和技術(shù)文檔,保證項(xiàng)目的可維護(hù)性和可擴(kuò)展性。
任職要求:
1、本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專(zhuān)業(yè)。
2、3-5年的大數(shù)據(jù)開(kāi)發(fā)相關(guān)工作經(jīng)驗(yàn)。
3、熟練掌握Hadoop生態(tài)組件,如HDFS、MapReduce、YARN等;
4、熟悉實(shí)時(shí)計(jì)算框架,如Spark、Flink、Storm等。
5、熟練使用SQL,有較強(qiáng)的數(shù)據(jù)庫(kù)操作能力,熟悉Hive、HBase、MySQL等數(shù)據(jù)庫(kù)。
6、掌握Python或Java等編程語(yǔ)言。;
7、了解數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)原理及方法論,有ETL工具使用經(jīng)驗(yàn)者優(yōu)先,如Kafka、Flume等。
8、具備良好的溝通能力和團(tuán)隊(duì)協(xié)作精神,強(qiáng)烈的責(zé)任心和抗壓能力,能夠獨(dú)立解決問(wèn)題。
有政府項(xiàng)目工作經(jīng)驗(yàn)優(yōu)先