復(fù)旦MOSS模型今日開源 展望語言大模型生態(tài)

、生成內(nèi)容質(zhì)量、語言理解能力和邏輯推理能力上都得到大幅提升，超出了大眾對(duì)于一款聊天機(jī)器人的預(yù)期，是生成式AI（AIGC）極為關(guān)鍵的發(fā)展節(jié)點(diǎn)。

MOSS是國(guó)內(nèi)第一個(gè)發(fā)布的對(duì)話式大型語言模型

。它可以執(zhí)行對(duì)話生成、編程、事實(shí)問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。

目前

，MOSS模型已上線開源，相關(guān)代碼、數(shù)據(jù)、模型參數(shù)已在Github和Hugging Face等平臺(tái)開放，供科研人員下載，促進(jìn)人工智能模型研究和開源社區(qū)的生態(tài)繁榮。開源代碼涵蓋模型訓(xùn)練和推理代碼，開源數(shù)據(jù)包括超100萬條對(duì)話訓(xùn)練數(shù)據(jù)，開源模型包括160億參數(shù)中英雙語基座語言模型、對(duì)話模型以及插件增強(qiáng)的對(duì)話模型。

MOSS基于公開的中英文數(shù)據(jù)訓(xùn)練

，目前已經(jīng)擁有200億參數(shù)，具有和人類對(duì)話的能力，并可以通過與人類交互實(shí)現(xiàn)迭代優(yōu)化。

其中隱含著三個(gè)非常重要的技術(shù)?div id="4qifd00" class="flower right">

，也給出邏輯推導(dǎo)！睆?fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬說。

相關(guān)人士表示

，目前中國(guó)巨頭廠商深耕通用基礎(chǔ)大模型研發(fā)布局產(chǎn)業(yè)生態(tài)布局，肩部廠商基于開源模型或海量數(shù)據(jù)打造垂直基礎(chǔ)大模型，建立垂直行業(yè)的平臺(tái)生態(tài)。語言大模型及下游應(yīng)用產(chǎn)業(yè)對(duì)于國(guó)家數(shù)字經(jīng)濟(jì)發(fā)展具有戰(zhàn)略性意義。

編輯：翟卓

關(guān)鍵詞：