首頁 > 資訊 > 科技 > 正文

智源研究院發(fā)布超大規(guī)模新型預(yù)訓(xùn)練模型“悟道·文匯” 已實現(xiàn)與國際領(lǐng)先預(yù)訓(xùn)練技術(shù)的并跑

2021-01-14 15:01:05來源：人民網(wǎng)-科技頻道

2021年1月11日

，北京智源人工智能研究院發(fā)布面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型“文匯”

，旨在探索解決當(dāng)前大規(guī)模自監(jiān)督預(yù)訓(xùn)練模型不具有認(rèn)知能力的問題，這一項目由智源研究院發(fā)起的“悟道”攻關(guān)團隊完成

。

“文匯”模型不僅使用數(shù)據(jù)驅(qū)動的方法來建構(gòu)預(yù)訓(xùn)練模型，還將用戶行為

、常識知識以及認(rèn)知聯(lián)系起來

，主動“學(xué)習(xí)”與創(chuàng)造。本次發(fā)布的“文匯”模型與1月初OpenAI剛剛發(fā)布的DALL·E和CLIP這兩個連接文本與圖像的大規(guī)模預(yù)訓(xùn)練模型類似

，“文匯”模型能夠?qū)W習(xí)不同模態(tài)(文本和視覺領(lǐng)域為主)之間的概念，可以實現(xiàn)“用圖生文”等任務(wù)

，具有一定的認(rèn)知能力

。“文匯”模型參數(shù)規(guī)模達(dá)113億，僅次于DALL·E模型的120億參數(shù)量

，是目前我國規(guī)模最大的預(yù)訓(xùn)練模型，并已實現(xiàn)與國際領(lǐng)先預(yù)訓(xùn)練技術(shù)的并跑

。

智源研究院學(xué)術(shù)副院長

、清華大學(xué)計算機系唐杰教授認(rèn)為，GPT-3等超大型預(yù)訓(xùn)練模型在處理復(fù)雜的認(rèn)知推理任務(wù)上

，例如開放對話

、基于知識的問答、可控文本生成等

，結(jié)果仍然與人類智能有較大差距

。智源研究院院長、北京大學(xué)信息技術(shù)學(xué)院黃鐵軍教授指出

，“文匯”模型針對性地設(shè)計了多任務(wù)預(yù)訓(xùn)練的方法

，可以同時學(xué)習(xí)文→文

、圖→文以及圖文→文等多項任務(wù)

，實現(xiàn)對多個不同模態(tài)的概念理解。經(jīng)過預(yù)訓(xùn)練的“文匯”模型不需要進(jìn)行微調(diào)就可以完成“用圖生文”等任務(wù)

，對模型進(jìn)行微調(diào)則可以靈活地接入如視覺問答、視覺推理等任務(wù)。

“文匯”模型應(yīng)用即將上線

目前

，“文匯”已支持基于認(rèn)知推理的多種自然語言及跨模態(tài)應(yīng)用任務(wù)

，部分應(yīng)用即將與搜狗、阿里巴巴

、學(xué)堂在線、智譜.AI

、循環(huán)智能等機構(gòu)合作上線

。目前已有四個樣例應(yīng)用可用于展示模型效果。

(一)基于上傳圖片的開放域問答

本應(yīng)用基于圖片文本的多模態(tài)認(rèn)知預(yù)訓(xùn)練百億模型

，可以支持用戶上傳圖片后

，針對圖片內(nèi)容進(jìn)行提問或生成圖片的一句話描述

。如上傳圖片后詢問“圖片中的電腦在水杯的什么位置?”或“生成對應(yīng)商品圖片的一句話描述”

。將于未來大規(guī)模應(yīng)用于阿里的電商場景。

(二)Talk to Data

，用語言操作數(shù)據(jù)可視化

本應(yīng)用基于數(shù)據(jù)可視化技術(shù)，通過將自然語言轉(zhuǎn)化為可視化查詢語句

，從而達(dá)到“上傳圖表

，輸入指令，輸出可視化圖像”的功能目標(biāo)

。只需要一句自然語言的話

，就可以實現(xiàn)數(shù)據(jù)的可視化自動統(tǒng)計與查詢

。

(三)基于預(yù)訓(xùn)練語言模型的詩詞創(chuàng)作應(yīng)用

本應(yīng)用可以基于輸入的詩歌題目

、朝代、作者

，生成仿古詩詞

。與傳統(tǒng)基于規(guī)則或監(jiān)督學(xué)習(xí)的詩歌生成不同

，這個應(yīng)用創(chuàng)作的詩歌來自于自然語言的生成

，且無標(biāo)注數(shù)據(jù)進(jìn)行fine-tune，并且可以模仿任意詩人創(chuàng)作任意新穎題目的詩歌

。

下面是基于模型自動作詩的結(jié)果：

贈抗疫英雄

君王歌里贈英雄

，百萬雄師劈毒煙

。

況是人民勤努力

，更加眾志與國捐

。

團結(jié)團結(jié)再團結(jié)，萬眾一心戰(zhàn)瘟神

。

沔水橋邊香霧起，暗送瘟神過漢陽

。

(四)可控人設(shè)的開放域問答

本應(yīng)用支持用戶上傳問題

，并生成具有人物角色風(fēng)格的定制化文本回答。與傳統(tǒng)的開放式問答不同

，“文匯”模型生成的答案具有人設(shè)的語言特色

，問答內(nèi)容趣味橫生。目前該應(yīng)用將計劃在搜狗的問答場景中使用

。

“悟道”項目下一步研發(fā)計劃

目前

，“悟道”項目研究團隊正在視覺等更廣泛的范圍內(nèi)，對大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法開展探索研究

，已經(jīng)啟動了四類大規(guī)模預(yù)訓(xùn)練模型研制

，包括“文源”(以中文為核心的超大規(guī)模預(yù)訓(xùn)練語言模型)、“文匯”(面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型)

、“文瀾”(超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型)和“文溯”(超大規(guī)模蛋白質(zhì)序列預(yù)訓(xùn)練模型)

。2020年11月14日，智源研究院已發(fā)布了“文源”(以中文為核心的超大規(guī)模預(yù)訓(xùn)練語言模型)第一階段26億參數(shù)規(guī)模的中文語言模型

。下一步

，智源研究院將聯(lián)合優(yōu)勢單位加快四類大規(guī)模預(yù)訓(xùn)練模型的研發(fā)進(jìn)度。特別是“文匯”模型

，未來將著力在多語言

、多模態(tài)條件下，提升完成開放對話

、基于知識的問答

、可控文本生成等復(fù)雜認(rèn)知推理任務(wù)的能力，使其更加接近人類水平

。計劃在今年6月實現(xiàn)“中文自然語言應(yīng)用系統(tǒng)”“基于圖文增強和知識融入的圖文應(yīng)用系統(tǒng)”“基于認(rèn)知的復(fù)雜認(rèn)知系統(tǒng)”等一批各具特色的超大規(guī)模預(yù)訓(xùn)練模型

，以期達(dá)到對國際領(lǐng)先AI技術(shù)的趕超

，盡快實現(xiàn)我國在國際AI前沿技術(shù)研究的領(lǐng)跑

。

責(zé)任編輯：孫知兵

關(guān)鍵詞：智源研究院

免責(zé)聲明：本文僅代表作者個人觀點，與太平洋財富網(wǎng)無關(guān)

。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實

，對本文以及其中全部或者部分內(nèi)容、文字的真實性

、完整性

、及時性本站不作任何保證或承諾

，請讀者僅作參考，并請自行核實相關(guān)內(nèi)容

。
如有問題

，請聯(lián)系我們！

精彩推薦

順豐控股公布一季報：首季凈利降3成今日股價跌3%市值蒸發(fā)64億

閱讀排行

漢諾威再保險上海分公司注冊資本增至41....

中外科學(xué)家聯(lián)合發(fā)布巨幅宇宙二維天圖容納了10萬億數(shù)碼像素
上一篇2021-01-14 14:56:29

關(guān)于我們　-　聯(lián)系方式　-　版權(quán)聲明　-　招聘信息　-　友鏈交換　-　網(wǎng)站統(tǒng)計

太平洋財富主辦版權(quán)所有：太平洋財富網(wǎng)

?中國互聯(lián)網(wǎng)違法和不良信息舉報中心

備案號：豫ICP備17010346號-4

未經(jīng)過本站允許請勿將本站內(nèi)容傳播或復(fù)制業(yè)務(wù)QQ：3 31 986 683

感谢您访问我们的网站，您可能还对以下资源感兴趣：

五月婷婷操大逼,我和岳坶一起看片,久久精品无码一区二区三区,好硬好大我还要好爽视频,日本99热爱精品,日韩美女乱婬试看视频网站 ,寡妇下面水多好紧视频 ,亚洲AⅤ一区二区三区,色www亚洲国产张柏芝,亚洲av无码男人的天堂无广告,精品久久久久久久免费自慰,久久精品国产大片免费观看,AV影片影音先锋一本大道香蕉,香蕉97超级碰碰碰免费公开 ,啊轻点好爽在线观看,亚洲视频欧美不卡,久久精品国产99久

456亚洲人成在线播放网站国产污污网站免费看波多野结衣性爱网站精品自拍日本日韩少妇150P 久久91精品国产91久久免费A片伦费影视在线观看亚洲国产一二 99久久et这里只有精品18 亚洲AV美女一区二区三区国产成人在线综合网一区二区免费在线视频 XXXX日本高清1 男男gv在线播放网站亚洲亚洲日韩国产新品天堂在线日本不卡一区色多多国产AV二区三区最近中文字幕大全免费日本亚州视频在线八a 妺妺窝人体色www金莲精品欧美伦欲视频精品国产亚洲第一区二区三区国产成人精品一区二三区2023 中日韩人妻一级精品毛片午夜视频在线在免费视频亚洲啊啊啊啊 2021在线看片免费人成视频激情综合亚洲九月色亚洲va中文字幕不卡无码免费无限永久在线观看污污网址看男女日皮视频在线观看青青草国产播放视频黄色一级视频免费看国内精品自产拍在线观看亚洲欧美日产综合在线网性色亚洲中文自拍另类Av片成人一级黄片免费观看最新国产精品自在线观看国产福利第一导航呦男呦女精品视频八区在线的最新免费国产国产中文字幕亚洲精品宅男福利导航紧身裙连裤袜波多野结衣欧美成综合网站少妇久久综合 A片调教在线免费播放网址欧美3d怪物H动漫播放白丝jk插进去喷水视频粗大掹烈进出高潮视频 2021精品亚洲中文字幕最刺激的乱惀小说喷水网国产美女遭强开双腿在线观看农村国产一级一级A片一性一交一口添一摸视频超级碰碰青草免费视频APP 久久精品国产大片免费观看国产精品毛片va一区二区三区国产美女视频免费曰批免费视频观看40分钟中文字幕在线永久视频国产精品所白浆视频又色又粗又长又大的三级久久久精品免费齐齐国产精品自拍自偷伊人色综合一区二区三区强行交换配乱婬bd 久久中文字幕系列 mm1313国产精品久久尤物92福利视频午夜1000合集 97国产最新免费公开视频丝袜美腿视频一区二区三区 aⅴ调教视频国产精品一区二区丝瓜国产精品成熟老女人风间由美性色一区二区三区亚洲国产精品激情一区二区 91新超碰极品盛宴分类 XX一个色综合国产色综合午夜福利合集青青青视频自偷自拍在线观看免费AV啊啊啊啊不要青青草成人视频在线视频偷拍亚州av综合色区无码一区亚洲另类自拍图五月丁香激情综合视频国产精品1000部在线观看亚洲一区二区不三区不卡国产精品情侣自拍又粗又大又爽又紧免费视频亚洲日韩AV中字在线网站亚洲有码一区二区三区视频亚洲AV成人片色欲在线观看品久久二区三区久草欧美精品国产丰满麻豆videosshd 精品不卡一区二区日本XXXX视频在线观看免费国产精品亚洲小说专区白丝jk国产一区二区三区伊在人天堂亚洲香蕉精品区国产综合日本亚洲777 张开腿无遮无挡在线观看久久久久久久99精品免费观看中文乱码一区高潮在线喷另类老妇性BBWBBW 超清中文乱码字幕在线观看国产三寸白浆喷潮直流视频少妇一区二区三区黄亚洲中文字幕乱码电影国产精品亚洲日韩久久亚洲中文字幕久久无码精品国外欧美一区二区中美日韩印度亚洲综合在线国产区精品系列在线观看不免费又爽又刺激的网站美女被狂插出水茄子在线看片免费人成视频亚洲性色成人av天堂黄、作爱免费视频亚洲狂野国产AV 手机看片久久国产永久免费好男人www 中文字幕婷婷日韩欧美亚洲白洁国产剧情Av手机在线尤物成人影院yw193在线观看欧美v亚洲v日韩v最新在线国产未满十八岁午夜欧美老妇理论片白浆高潮国产免费精品国产高清一区二区三区国产嫖妓一区二区三区无码国产精品1区2区3区在线播放 h娇喘喷水抽搐高潮视频欧美乱妇日本无乱码特黄大片国内私拍哺乳精品视频又大又粗又长外国一级黄在线看片免费人成视频在线观看亚洲精品福利片欧美孕妇变态重口另类欧美亚洲综合在线国产91麻豆免费观看 h视频网站黄国产情侣草莓视频在线色五五月五月开在线观看九九热精品免费观看 992免费视频网站十八禁网站gay 亚洲午夜福利在线视频女人把私人部位扒开视频在线看 www欧美性爱色露一区二区亚洲Aⅴ天堂在线观看忘忧草在线社区www日本亚欧性爱欧美日韩国产一区二区国产精品亚洲二区在线看疯狂做受DVD免费播放 99久久国产综合精品无码 a女激情视频在线观看日本高清=区视频在线

智源研究院發(fā)布超大規(guī)模新型預(yù)訓(xùn)練模型“悟道·文匯” 已實現(xiàn)與國際領(lǐng)先預(yù)訓(xùn)練技術(shù)的并跑

精彩推薦

順豐控股公布一季報：首季凈利降3成 今日股價跌3%市值蒸發(fā)64億

閱讀排行

推薦閱讀

順豐控股公布一季報：首季凈利降3成今日股價跌3%市值蒸發(fā)64億