崗位職責(zé):
1、負(fù)責(zé)生成式大模型(LLM)預(yù)訓(xùn)練算法的訓(xùn)練、優(yōu)化、精調(diào)、對(duì)齊等技術(shù)研究,涉及語(yǔ)言大模型、多模態(tài)大模型;
2、參與構(gòu)建涵蓋模型選型、微調(diào)、部署、計(jì)算優(yōu)化、工程應(yīng)用的全鏈路大模型服務(wù)框架及工具平臺(tái)體系;
3、負(fù)責(zé)大模型基于GPU的并行多機(jī)多卡訓(xùn)練、高性能模型推理,推進(jìn)分布式訓(xùn)練中的計(jì)算和通信優(yōu)化等;
4、負(fù)責(zé)大模型前沿技術(shù)研究,通用類和垂類預(yù)訓(xùn)練模型研發(fā)及效果持續(xù)優(yōu)化;
5、參與深度優(yōu)化大模型推理引擎的性能,包括提高吞吐與降低延時(shí),推進(jìn)對(duì)用戶query的處理。
崗位要求
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),2年以上NLP相關(guān)經(jīng)驗(yàn);
2、邏輯歸納能力,具備良好的Python和算法基礎(chǔ);
3、熟悉Linux開發(fā)環(huán)境,掌握深度學(xué)習(xí)的常用框架Pytorch/TensorFlow/Paddle等;
4、熟悉大模型相關(guān)技術(shù),Prompt工程、微調(diào)訓(xùn)練、分布式訓(xùn)練、RAG技術(shù)等;
5、優(yōu)秀的分析問題、解決問題能力和團(tuán)隊(duì)合作意識(shí);
6、具有chatGLM,llama等十億以上模型的訓(xùn)練、部署推理、下游任務(wù)和調(diào)優(yōu)、稀疏量化等經(jīng)驗(yàn)者優(yōu)先。