首頁 > 資訊 > 科技 > 正文

算力不足限制AI創(chuàng)新　學(xué)者呼吁加強(qiáng)學(xué)術(shù)界算力支持

2024-11-28 17:06:45來源：人民郵電報(bào)

一項(xiàng)針對(duì)全球數(shù)十家學(xué)術(shù)機(jī)構(gòu)的學(xué)者開展的調(diào)查顯示

，許多大學(xué)的科學(xué)家對(duì)人工智能（AI）研究可用的算力資源感到沮喪

。

相關(guān)研究論文已于近日發(fā)布在預(yù)印本服務(wù)器arXiv上

，指出學(xué)者難以接觸到最先進(jìn)的計(jì)算系統(tǒng)

，這可能阻礙他們開發(fā)大型語言模型（LLM）和其他AI研究的進(jìn)展

。

（圖片來源：nature）

具體而言，學(xué)術(shù)研究者往往沒有資源獲取足夠強(qiáng)大的圖形處理器（GPU）——這些電腦芯片常用于訓(xùn)練AI模型

，且價(jià)格昂貴

，可達(dá)數(shù)千美元

。相比之下，大型科技公司的研究者預(yù)算更高

，可以在GPU上投入更多資金

。“每增加一塊GPU，就能提升更多算力

。”美國布朗大學(xué)計(jì)算機(jī)科學(xué)家

、該研究的合著者Apoorv Khandelwal表示

，“雖然行業(yè)巨頭可能擁有數(shù)千塊GPU

，但學(xué)者可能只有幾塊。”

“學(xué)術(shù)界與行業(yè)界的模型差距巨大

，但本可以小得多。”美國華盛頓特區(qū)非營(yíng)利AI研究機(jī)構(gòu)EleutherAI的執(zhí)行董事Stella Biderman說

。她表示，對(duì)這一差距的研究“至關(guān)重要”

。

為了評(píng)估學(xué)者可用的計(jì)算資源

，研究團(tuán)隊(duì)對(duì)35家機(jī)構(gòu)的50名科學(xué)家進(jìn)行了調(diào)查。受訪者中

，66％對(duì)自己的算力滿意度打了3分及以下（滿分5分）

。“他們根本不滿意

。”Khandelwal說

。

各大學(xué)在GPU訪問設(shè)置上有所不同

。有些學(xué)校設(shè)有供各部門和學(xué)生共享的中央計(jì)算集群

，研究人員可申請(qǐng)GPU使用時(shí)間

。另一些機(jī)構(gòu)可能為實(shí)驗(yàn)室成員直接購買機(jī)器

。

柱狀圖揭示了調(diào)查的結(jié)果：學(xué)者通常只能有限地訪問圖形處理器

，這進(jìn)而限制了他們訓(xùn)練機(jī)器學(xué)習(xí)模型的能力

。

一些科學(xué)家表示

，他們不得不等待數(shù)天才能使用GPU，并指出在項(xiàng)目截止日期前后等待時(shí)間特別長(zhǎng)

。調(diào)查結(jié)果還凸顯了全球算力訪問的差異

。例如

，有受訪者提到在中東地區(qū)難以找到GPU。僅有10％的受訪者表示

，他們可以使用英偉達(dá)的H100GPU

，這是專為AI研究設(shè)計(jì)的高端芯片

。

這一障礙極大地加劇了預(yù)訓(xùn)練過程的難度，即向大型語言模型（LLM）輸入海量數(shù)據(jù)集的過程變得尤為困難

。“由于成本高昂

，大多數(shù)學(xué)者甚至不敢涉足預(yù)訓(xùn)練領(lǐng)域的研究。”Khandelwal指出

。他和同事堅(jiān)信

，學(xué)者在人工智能研究中帶來了獨(dú)一無二的視角

，而算力的匱乏可能會(huì)嚴(yán)重制約這一領(lǐng)域的未來發(fā)展。

“為了長(zhǎng)期的增長(zhǎng)和技術(shù)發(fā)展

，擁有一個(gè)健康

、有競(jìng)爭(zhēng)力的學(xué)術(shù)研究環(huán)境至關(guān)重要。”美國布朗大學(xué)計(jì)算機(jī)科學(xué)和語言學(xué)學(xué)者

、該研究的合著者Ellie Pavlick說，“相比之下

，在行業(yè)研究中往往存在顯著的商業(yè)壓力

，這有時(shí)會(huì)促使研究人員急于求成，減少了對(duì)未知領(lǐng)域的探索

。”

研究人員還深入探究了學(xué)者如何在算力資源有限的情況下更高效地進(jìn)行利用

。他們測(cè)算了在使用1至8塊GPU的低資源硬件環(huán)境下

，預(yù)訓(xùn)練多個(gè)大型語言模型（LLM）所需的時(shí)間。盡管面臨資源限制

，學(xué)者仍成功訓(xùn)練出多個(gè)模型

，但這一過程耗時(shí)更長(zhǎng)，并要求他們必須采用更為高效的方法

。

“我們實(shí)際上可以延長(zhǎng)現(xiàn)有GPU的使用時(shí)間，從而在一定程度上彌補(bǔ)與行業(yè)界的差距

。”Khandelwal說。

“在有限的計(jì)算資源上竟然也能訓(xùn)練出比許多人預(yù)期中更大的模型

，這確實(shí)令人驚嘆

。”德國薩爾布呂肯薩爾蘭大學(xué)神經(jīng)顯式模型研究者Ji-Ung Lee表示

。他進(jìn)一步指出

，未來的研究可以聚焦小公司行業(yè)研究者的經(jīng)歷，因?yàn)樗麄兺瑯釉谟?jì)算資源獲取上面臨困境

。“并非所有有能力獲取無限算力的人都能夠如愿以償。”他補(bǔ)充道

。

關(guān)鍵詞：

責(zé)任編輯：孫知兵

免責(zé)聲明：本文僅代表作者個(gè)人觀點(diǎn)，與太平洋財(cái)富網(wǎng)無關(guān)

。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)

，對(duì)本文以及其中全部或者部分內(nèi)容

、文字的真實(shí)性、完整性

、及時(shí)性本站不作任何保證或承諾

，請(qǐng)讀者僅作參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容

。
如有問題

，請(qǐng)聯(lián)系我們！

精彩推薦

，以熱愛書寫冰雪傳奇">

小黃象攜手中國國家U18冰球隊(duì)<div id= ，以熱愛書寫冰雪傳奇" />

，以熱愛書寫冰雪傳奇">小黃象攜手中國國家U18冰球隊(duì)，以熱愛書寫冰雪傳奇

閱讀排行

AI數(shù)據(jù)中心需求激增電網(wǎng)基礎(chǔ)設(shè)施面臨挑戰(zhàn)
上一篇2024-11-28 17:03:00

關(guān)于我們　-　聯(lián)系方式　-　版權(quán)聲明　-　招聘信息　-　友鏈交換　-　網(wǎng)站統(tǒng)計(jì)

太平洋財(cái)富主辦版權(quán)所有：太平洋財(cái)富網(wǎng)

?中國互聯(lián)網(wǎng)違法和不良信息舉報(bào)中心

未經(jīng)過本站允許請(qǐng)勿將本站內(nèi)容傳播或復(fù)制業(yè)務(wù)QQ：3 31 986 683

感谢您访问我们的网站，您可能还对以下资源感兴趣：

五月婷婷操大逼,我和岳坶一起看片,久久精品无码一区二区三区,好硬好大我还要好爽视频,日本99热爱精品,日韩美女乱婬试看视频网站 ,寡妇下面水多好紧视频 ,亚洲AⅤ一区二区三区,色www亚洲国产张柏芝,亚洲av无码男人的天堂无广告,精品久久久久久久免费自慰,久久精品国产大片免费观看,AV影片影音先锋一本大道香蕉,香蕉97超级碰碰碰免费公开 ,啊轻点好爽在线观看,亚洲视频欧美不卡,久久精品国产99久

456亚洲人成在线播放网站国产污污网站免费看波多野结衣性爱网站精品自拍日本日韩少妇150P 久久91精品国产91久久免费A片伦费影视在线观看亚洲国产一二 99久久et这里只有精品18 亚洲AV美女一区二区三区国产成人在线综合网一区二区免费在线视频 XXXX日本高清1 男男gv在线播放网站亚洲亚洲日韩国产新品天堂在线日本不卡一区色多多国产AV二区三区最近中文字幕大全免费日本亚州视频在线八a 妺妺窝人体色www金莲精品欧美伦欲视频精品国产亚洲第一区二区三区国产成人精品一区二三区2023 中日韩人妻一级精品毛片午夜视频在线在免费视频亚洲啊啊啊啊 2021在线看片免费人成视频激情综合亚洲九月色亚洲va中文字幕不卡无码免费无限永久在线观看污污网址看男女日皮视频在线观看青青草国产播放视频黄色一级视频免费看国内精品自产拍在线观看亚洲欧美日产综合在线网性色亚洲中文自拍另类Av片成人一级黄片免费观看最新国产精品自在线观看国产福利第一导航呦男呦女精品视频八区在线的最新免费国产国产中文字幕亚洲精品宅男福利导航紧身裙连裤袜波多野结衣欧美成综合网站少妇久久综合 A片调教在线免费播放网址欧美3d怪物H动漫播放白丝jk插进去喷水视频粗大掹烈进出高潮视频 2021精品亚洲中文字幕最刺激的乱惀小说喷水网国产美女遭强开双腿在线观看农村国产一级一级A片一性一交一口添一摸视频超级碰碰青草免费视频APP 久久精品国产大片免费观看国产精品毛片va一区二区三区国产美女视频免费曰批免费视频观看40分钟中文字幕在线永久视频国产精品所白浆视频又色又粗又长又大的三级久久久精品免费齐齐国产精品自拍自偷伊人色综合一区二区三区强行交换配乱婬bd 久久中文字幕系列 mm1313国产精品久久尤物92福利视频午夜1000合集 97国产最新免费公开视频丝袜美腿视频一区二区三区 aⅴ调教视频国产精品一区二区丝瓜国产精品成熟老女人风间由美性色一区二区三区亚洲国产精品激情一区二区 91新超碰极品盛宴分类 XX一个色综合国产色综合午夜福利合集青青青视频自偷自拍在线观看免费AV啊啊啊啊不要青青草成人视频在线视频偷拍亚州av综合色区无码一区亚洲另类自拍图五月丁香激情综合视频国产精品1000部在线观看亚洲一区二区不三区不卡国产精品情侣自拍又粗又大又爽又紧免费视频亚洲日韩AV中字在线网站亚洲有码一区二区三区视频亚洲AV成人片色欲在线观看品久久二区三区久草欧美精品国产丰满麻豆videosshd 精品不卡一区二区日本XXXX视频在线观看免费国产精品亚洲小说专区白丝jk国产一区二区三区伊在人天堂亚洲香蕉精品区国产综合日本亚洲777 张开腿无遮无挡在线观看久久久久久久99精品免费观看中文乱码一区高潮在线喷另类老妇性BBWBBW 超清中文乱码字幕在线观看国产三寸白浆喷潮直流视频少妇一区二区三区黄亚洲中文字幕乱码电影国产精品亚洲日韩久久亚洲中文字幕久久无码精品国外欧美一区二区中美日韩印度亚洲综合在线国产区精品系列在线观看不免费又爽又刺激的网站美女被狂插出水茄子在线看片免费人成视频亚洲性色成人av天堂黄、作爱免费视频亚洲狂野国产AV 手机看片久久国产永久免费好男人www 中文字幕婷婷日韩欧美亚洲白洁国产剧情Av手机在线尤物成人影院yw193在线观看欧美v亚洲v日韩v最新在线国产未满十八岁午夜欧美老妇理论片白浆高潮国产免费精品国产高清一区二区三区国产嫖妓一区二区三区无码国产精品1区2区3区在线播放 h娇喘喷水抽搐高潮视频欧美乱妇日本无乱码特黄大片国内私拍哺乳精品视频又大又粗又长外国一级黄在线看片免费人成视频在线观看亚洲精品福利片欧美孕妇变态重口另类欧美亚洲综合在线国产91麻豆免费观看 h视频网站黄国产情侣草莓视频在线色五五月五月开在线观看九九热精品免费观看 992免费视频网站十八禁网站gay 亚洲午夜福利在线视频女人把私人部位扒开视频在线看 www欧美性爱色露一区二区亚洲Aⅴ天堂在线观看忘忧草在线社区www日本亚欧性爱欧美日韩国产一区二区国产精品亚洲二区在线看疯狂做受DVD免费播放 99久久国产综合精品无码 a女激情视频在线观看日本高清=区视频在线

<blockquote id="o0wo0"></blockquote>

算力不足限制AI創(chuàng)新 學(xué)者呼吁加強(qiáng)學(xué)術(shù)界算力支持

精彩推薦

，以熱愛書寫冰雪傳奇">小黃象攜手中國國家U18冰球隊(duì)，以熱愛書寫冰雪傳奇

閱讀排行

推薦閱讀

算力不足限制AI創(chuàng)新　學(xué)者呼吁加強(qiáng)學(xué)術(shù)界算力支持