1、負(fù)責(zé)大模型數(shù)據(jù)工程過程的開發(fā);
2、深入了解業(yè)務(wù)場(chǎng)景,結(jié)合實(shí)際業(yè)務(wù)數(shù)據(jù),完成數(shù)據(jù)挖掘模型、人工智能模型大數(shù)據(jù)數(shù)據(jù)工程平臺(tái)的搭建與調(diào)優(yōu);
3、負(fù)責(zé)搭建大數(shù)據(jù)平臺(tái),用于大模型訓(xùn)練數(shù)據(jù)的格式預(yù)處理、數(shù)據(jù)清洗、脫敏過濾、樣本評(píng)估;
4、負(fù)責(zé)產(chǎn)品的相關(guān)技術(shù)需求分析,撰寫業(yè)務(wù)相關(guān)技術(shù)材料;
5、有持續(xù)學(xué)習(xí)的能力;喜歡開源軟件,樂于知識(shí)分享;對(duì)工作認(rèn)真負(fù)責(zé);可以獨(dú)立承擔(dān)較大工作壓力。
任職要求:
1、碩士以上學(xué)歷,數(shù)學(xué)、計(jì)算機(jī)相關(guān)專業(yè)畢業(yè)。應(yīng)屆生或具有2年以上大數(shù)據(jù)或數(shù)據(jù)挖掘、人工智能相關(guān)工作及項(xiàng)目經(jīng)驗(yàn)。具有良好的數(shù)據(jù)分析能力和問題解決思路,能夠快速理解業(yè)務(wù)及數(shù)據(jù)特點(diǎn)。
2、使用大數(shù)據(jù)相關(guān)的技術(shù)(Hive、hadoop、hdfs)解決業(yè)務(wù)相關(guān)問題;
3、理解 HDFS 體系架構(gòu),并能給予Hive、HDFS、python、R、Spark、Zeus等工具構(gòu)建離線系統(tǒng);
4、利用大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的分析和處理;
5、負(fù)責(zé)各類離線系統(tǒng)的業(yè)務(wù)調(diào)研,并與公司其他部門負(fù)責(zé)溝通協(xié)調(diào);
6、負(fù)責(zé)離線系統(tǒng)中數(shù)據(jù)處理工作(數(shù)據(jù)采集、清洗、匯總、集成等);
7、負(fù)責(zé)協(xié)助完成離線系統(tǒng)中數(shù)據(jù)上下層銜接處理工作;
8、負(fù)責(zé)各類離線系統(tǒng)的開發(fā)、部署等工作;
9、能夠獨(dú)立完成數(shù)據(jù)獲取、數(shù)據(jù)清洗、業(yè)務(wù)場(chǎng)景分析、數(shù)據(jù)模型建立、數(shù)據(jù)模型訓(xùn)練優(yōu)化、數(shù)據(jù)模型應(yīng)用評(píng)估等全流程工作者優(yōu)先。
10、能接受中長(zhǎng)期出差優(yōu)先。