崗位職責(zé):
(1)深入理解自然語言處理和大模型預(yù)訓(xùn)練技術(shù),研究并掌握最新的大模型訓(xùn)練技術(shù)發(fā)展;
(2)有較長期的大模型訓(xùn)練經(jīng)驗(yàn),負(fù)責(zé)預(yù)訓(xùn)練模型、訓(xùn)練方案設(shè)計與實(shí)現(xiàn),特別是大語言模型的訓(xùn)練;
(3)對于大模型訓(xùn)練的高質(zhì)量數(shù)據(jù)構(gòu)造、清洗、數(shù)據(jù)比例配比有豐富經(jīng)驗(yàn);
(4)對于金融領(lǐng)域的場景任務(wù),能夠熟練分析對大模型能力的要求,并能夠完成相應(yīng)的數(shù)據(jù)構(gòu)建、大模型再訓(xùn)練任務(wù)。
任職要求:
(1)碩士研究生及以上學(xué)歷畢業(yè)生,計算機(jī)、人工智能、機(jī)器學(xué)習(xí)等相關(guān)專業(yè);
(2)扎實(shí)的深度學(xué)習(xí)、NLP算法基礎(chǔ),熟悉強(qiáng)化學(xué)習(xí)、蒙特卡洛搜索等類似算法;
(3 熟練掌握C++和python語言,具備較強(qiáng)的代碼工程能力,至少熟練掌握tensorflow、pytorch中一個深度學(xué)習(xí)框架,熟悉常見的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法,能快速復(fù)現(xiàn)前沿算法;
(4)有Megtron/Deepspeed等多機(jī)多卡訓(xùn)練框架經(jīng)驗(yàn)優(yōu)先,有量化/蒸餾等推理優(yōu)化經(jīng)驗(yàn)優(yōu)先;
(5)具備大規(guī)模預(yù)訓(xùn)練模型、多模態(tài)學(xué)習(xí)等領(lǐng)域深厚的理論基礎(chǔ)和豐富的實(shí)現(xiàn)經(jīng)驗(yàn);
(6)熟悉LORA、QLORA等大模型微調(diào)技術(shù),大模型Prompt 工程;
(7)發(fā)表過AI領(lǐng)域的頂級會議或期刊論文優(yōu)先;
(8)具備良好的分析解決問題能力,優(yōu)秀的學(xué)習(xí)能力,善于溝通和交流,有強(qiáng)烈的進(jìn)取心、責(zé)任心和創(chuàng)新意識。