首頁 > 資訊 > 科技 > 正文

AI發(fā)展：訓(xùn)練數(shù)據(jù)即將遭遇瓶頸

2024-12-31 19:12:49來源：科技日?qǐng)?bào)

得益于神經(jīng)網(wǎng)絡(luò)規(guī)模的擴(kuò)大以及海量數(shù)據(jù)的訓(xùn)練，人工智能（AI）在過去10年間突飛猛進(jìn)

。“做大做強(qiáng)”的策略

，在構(gòu)建大型語言模型（LLM）上取得了顯著成果

，ChatGPT就是一個(gè)典型的例子

。

然而

，《自然》《麻省理工科技評(píng)論》等多家雜志網(wǎng)站指出

，AI擴(kuò)展正逼近極限

。一方面，AI“吞噬”著越來越多的能源；另一方面

，滋養(yǎng)無數(shù)模型成長的傳統(tǒng)數(shù)據(jù)集

，正被LLM開發(fā)人員過度開墾。

AI幾乎讀取了互聯(lián)網(wǎng)上的所有內(nèi)容

，但仍渴望獲得更多數(shù)據(jù)

。為此，開發(fā)人員必須尋找變通之道

。

圖片來源：twistedsifter.com

訓(xùn)練數(shù)據(jù)即將遭遇的瓶頸已悄然浮現(xiàn)。有研究機(jī)構(gòu)預(yù)測

，到2028年左右

，用于訓(xùn)練AI模型的數(shù)據(jù)集典型規(guī)模將達(dá)到公共在線文本總估計(jì)量的規(guī)模。換句話說

，AI可能會(huì)在大約4年內(nèi)耗盡訓(xùn)練數(shù)據(jù)

。與此同時(shí)，數(shù)據(jù)所有者（如報(bào)紙出版商）開始打擊對(duì)其內(nèi)容的濫用行為

，進(jìn)一步收緊了訪問權(quán)限

，這將引發(fā)“數(shù)據(jù)共享”規(guī)模上的危機(jī)。為此

，開發(fā)人員必須尋找變通之道

。

　數(shù)據(jù)集供需失衡

過去10年間，LLM的發(fā)展顯示出了對(duì)數(shù)據(jù)的巨大需求

。自2020年以來

，用于訓(xùn)練LLM的“標(biāo)記”（或單詞）數(shù)量已增長100倍，從數(shù)百億增加到數(shù)萬億

。一個(gè)常見的數(shù)據(jù)集RedPajama

，包含數(shù)萬億個(gè)單詞。這些數(shù)據(jù)會(huì)被一些公司或研究人員抓取和清洗

，成為訓(xùn)練LLM的定制數(shù)據(jù)集

。

然而，可用互聯(lián)網(wǎng)內(nèi)容的增長速度出乎意料的緩慢

。據(jù)估計(jì)

，其年增長率不到10%，而AI訓(xùn)練數(shù)據(jù)集的大小每年增長超過一倍

。預(yù)測顯示

，這兩條曲線將在2028年左右交匯。

與此同時(shí)

，內(nèi)容供應(yīng)商越來越多地加入軟件代碼或修改條款

，阻止爬蟲及AI抓取其數(shù)據(jù)。在這些內(nèi)容中，被明確標(biāo)記為限制爬蟲訪問的數(shù)量

，從2023年的不足3%猛增到了2024年的20%至33%之間

。

當(dāng)前，圍繞AI訓(xùn)練中數(shù)據(jù)使用的合法性

，試圖為數(shù)據(jù)提供商爭取應(yīng)有賠償?shù)亩嗥鹪V訟正在進(jìn)行

。2023年12月，《紐約時(shí)報(bào)》向OpenAI及其合作伙伴微軟提起了訴訟

，指控其侵犯了版權(quán)

；今年4月，紐約市Alden全球資本旗下的8家報(bào)紙聯(lián)合發(fā)起了一起類似的訴訟

。對(duì)此

，OpenAI表示，《紐約時(shí)報(bào)》的訴訟“毫無根據(jù)”

。

若法院最終站在內(nèi)容提供商一方

，支持其獲得經(jīng)濟(jì)賠償，那么對(duì)于AI開發(fā)人員

，尤其是那些資金緊張的學(xué)者而言

，獲取所需數(shù)據(jù)無疑將變得更加艱難。

新方法有待印證

數(shù)據(jù)匱乏對(duì)AI的傳統(tǒng)擴(kuò)展策略構(gòu)成了潛在挑戰(zhàn)

。

尋找更多數(shù)據(jù)的一個(gè)途徑是收集非公開數(shù)據(jù)

，如社交媒體消息或視頻文字記錄。然而

，這種做法的合法性尚存爭議

。

一些公司選擇使用自己的數(shù)據(jù)來訓(xùn)練AI模型，如Meta利用虛擬現(xiàn)實(shí)頭顯收集的音頻和圖像進(jìn)行訓(xùn)練

。但各公司政策不同

，包括Zoom在內(nèi)的一些公司則明確表示不會(huì)使用客戶內(nèi)容訓(xùn)練AI。

另一種選擇可能是專注于快速增長的專業(yè)數(shù)據(jù)集

，如天文學(xué)或基因組學(xué)數(shù)據(jù)

，但其對(duì)訓(xùn)練LLM的可用性和實(shí)用性尚不清楚。

如果AI接受除文本之外的多種類型的數(shù)據(jù)訓(xùn)練

，可能會(huì)為豐富數(shù)據(jù)的涌入打開閘門

。Meta首席AI科學(xué)家勒丘恩強(qiáng)調(diào)，人類通過觀察物體而“吸收”的數(shù)據(jù)遠(yuǎn)超用于訓(xùn)練LLM的數(shù)據(jù)量

，機(jī)器人形態(tài)的AI系統(tǒng)或許能從中獲取經(jīng)驗(yàn)

。

此外，制造數(shù)據(jù)也是解決之道

。一些AI公司付費(fèi)讓人們生成訓(xùn)練內(nèi)容

，或使用AI生成的合成數(shù)據(jù)來訓(xùn)練AI

。這已成為一個(gè)潛在的巨大數(shù)據(jù)源。然而

，合成數(shù)據(jù)也存在問題

，如遞歸循環(huán)可能鞏固錯(cuò)誤、放大誤解

，并降低學(xué)習(xí)質(zhì)量

。

小模型更專更精

另一種策略是摒棄模型“越大越好”的開發(fā)觀念。一些開發(fā)者已在追求更高效

、專注于單一任務(wù)的小型語言模型

。這些模型需要更精細(xì)、更專業(yè)的數(shù)據(jù)以及更好的訓(xùn)練技術(shù)

。

12月5日

，OpenAI發(fā)布了新的OpenAI o1模型。盡管該公司未透露模型的規(guī)?div id="4qifd00" class="flower right">

；蛴?xùn)練數(shù)據(jù)集大小，但o1采用了新方法：在強(qiáng)化學(xué)習(xí)上投入更多時(shí)間

，讓模型對(duì)每個(gè)回答進(jìn)行更深入的思考

。這標(biāo)志著一種轉(zhuǎn)變，即從依賴大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練

，轉(zhuǎn)向更注重訓(xùn)練和推理

。

當(dāng)前，LLM可能已飽覽互聯(lián)網(wǎng)大部分內(nèi)容

，或許無需更多數(shù)據(jù)即可變得更智能

。美國斯坦福大學(xué)一項(xiàng)研究表明，模型從多次讀取給定數(shù)據(jù)集中學(xué)到的內(nèi)容

，與從相同數(shù)量的唯一數(shù)據(jù)中學(xué)習(xí)到的內(nèi)容一樣豐富

。

合成數(shù)據(jù)、專門數(shù)據(jù)集

、多次讀取和自我反思等因素的結(jié)合

，或?qū)⒐餐苿?dòng)AI的進(jìn)一步飛躍。

關(guān)鍵詞：

責(zé)任編輯：孫知兵

免責(zé)聲明：本文僅代表作者個(gè)人觀點(diǎn)

，與太平洋財(cái)富網(wǎng)無關(guān)

。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容

、文字的真實(shí)性

、完整性、及時(shí)性本站不作任何保證或承諾

，請(qǐng)讀者僅作參考

，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
如有問題，請(qǐng)聯(lián)系我們

！

AI發(fā)展：訓(xùn)練數(shù)據(jù)即將遭遇瓶頸2024-12-31
國家發(fā)改委成立低空經(jīng)濟(jì)發(fā)展司2024-12-31
HOTDOG數(shù)字藏品：數(shù)字化賦能
，開啟多行業(yè)變2024-12-31
旭晨網(wǎng)絡(luò)|智慧零售賦能商企數(shù)字化轉(zhuǎn)型2024-12-31
《2024中國制造強(qiáng)國發(fā)展指數(shù)報(bào)告》顯示：我2024-12-31
年底沖刺，家電換新求“新”更求“質(zhì)”2024-12-31
強(qiáng)化企業(yè)科技創(chuàng)新主體地位2024-12-31
旭晨傳媒|一站式微營銷驅(qū)動(dòng)數(shù)字化增長2024-12-31
人形機(jī)器人加速奔跑2024-12-31
量子之歌聚焦銀發(fā)經(jīng)濟(jì)領(lǐng)域探索“老齡化+AI2024-12-31
中國經(jīng)濟(jì)深觀察｜創(chuàng)新之變：從“互聯(lián)網(wǎng)+”2024-12-31
微眾創(chuàng)客|提升私域復(fù)購
，推動(dòng)品牌增長2024-12-31
第41次南極考察｜“雪龍2”號(hào)完成秦嶺站卸2024-12-31
第41次南極考察｜“雪龍2”號(hào)與“永盛”號(hào)2024-12-31
機(jī)器狗再登泰山2024-12-31
筆筆付橙|開啟AI智慧經(jīng)營新時(shí)代2024-12-31
長春市抗癌藥物研究所2024年工作紀(jì)實(shí)2024-12-31
盟科藥業(yè)自主研發(fā)的抗NTM感染新藥MRX-5獲FD2024-12-31
奮楫向前高質(zhì)量發(fā)展闊步行 ——2024年中2024-12-31
秦榮芳主任深入學(xué)習(xí)黨的二十大精神
，助力書2024-12-31
建司75載丨探解國壽壽險(xiǎn)推進(jìn)兩鄉(xiāng)振興的“三2024-12-31
2024 ESG全球領(lǐng)導(dǎo)者大會(huì)在滬舉行，國壽壽2024-12-31
首店璀璨啟航
！Joybake法式面包博物館登陸2024-12-31
“守住錢袋子護(hù)好幸福家”——中國人壽防2024-12-31
7年蛻變
，700萬用戶見證，愛立熊開啟賦能教2024-12-31
主業(yè)深耕國壽壽險(xiǎn)書寫服務(wù)上海高質(zhì)量發(fā)展2024-12-31
國壽壽險(xiǎn)：執(zhí)保險(xiǎn)畫筆
，繪就“和美鄉(xiāng)村”新2024-12-31
中國人壽壽險(xiǎn)公司榮獲《機(jī)構(gòu)投資者》2024年2024-12-31
王若曦榮獲ECI AWARDS 2024年度創(chuàng)新新銳2024-12-31
走進(jìn)鄉(xiāng)間的金融課堂：中國人壽壽險(xiǎn)公司“消2024-12-31

精彩推薦

，以熱愛書寫冰雪傳奇">

小黃象攜手中國國家U18冰球隊(duì)，以熱愛書寫冰雪傳奇

，以熱愛書寫冰雪傳奇">小黃象攜手中國國家U18冰球隊(duì)

，以熱愛書寫冰雪傳奇

？職場青年如何心理自救">【百萬莊小課堂】今天你emo了嗎？職場青...

中國試點(diǎn)開放信用監(jiān)管數(shù)據(jù) 便利境外來...

深圳年度最大規(guī)模畢業(yè)生雙選會(huì)提供崗位3...

廣西桂林滿城桂花飄香

，開...

旭晨網(wǎng)絡(luò)|智慧零售賦能商企數(shù)字...

《2024中國制造強(qiáng)國發(fā)展指數(shù)報(bào)告...

年底沖刺

，家電換新求“新”更求...

強(qiáng)化企業(yè)科技創(chuàng)新主體地位

旭晨傳媒|一站式微營銷驅(qū)動(dòng)數(shù)字...

人形機(jī)器人加速奔跑

量子之歌聚焦銀發(fā)經(jīng)濟(jì)領(lǐng)域探索“...

國家發(fā)改委成立低空經(jīng)濟(jì)發(fā)展司
上一篇2024-12-31 19:04:20

關(guān)于我們　-　聯(lián)系方式　-　版權(quán)聲明　-　招聘信息　-　友鏈交換　-　網(wǎng)站統(tǒng)計(jì)

太平洋財(cái)富主辦版權(quán)所有：太平洋財(cái)富網(wǎng)

?中國互聯(lián)網(wǎng)違法和不良信息舉報(bào)中心

未經(jīng)過本站允許請(qǐng)勿將本站內(nèi)容傳播或復(fù)制業(yè)務(wù)QQ：3 31 986 683

感谢您访问我们的网站，您可能还对以下资源感兴趣：

五月婷婷操大逼,我和岳坶一起看片,久久精品无码一区二区三区,好硬好大我还要好爽视频,日本99热爱精品,日韩美女乱婬试看视频网站 ,寡妇下面水多好紧视频 ,亚洲AⅤ一区二区三区,色www亚洲国产张柏芝,亚洲av无码男人的天堂无广告,精品久久久久久久免费自慰,久久精品国产大片免费观看,AV影片影音先锋一本大道香蕉,香蕉97超级碰碰碰免费公开 ,啊轻点好爽在线观看,亚洲视频欧美不卡,久久精品国产99久

456亚洲人成在线播放网站国产污污网站免费看波多野结衣性爱网站精品自拍日本日韩少妇150P 久久91精品国产91久久免费A片伦费影视在线观看亚洲国产一二 99久久et这里只有精品18 亚洲AV美女一区二区三区国产成人在线综合网一区二区免费在线视频 XXXX日本高清1 男男gv在线播放网站亚洲亚洲日韩国产新品天堂在线日本不卡一区色多多国产AV二区三区最近中文字幕大全免费日本亚州视频在线八a 妺妺窝人体色www金莲精品欧美伦欲视频精品国产亚洲第一区二区三区国产成人精品一区二三区2023 中日韩人妻一级精品毛片午夜视频在线在免费视频亚洲啊啊啊啊 2021在线看片免费人成视频激情综合亚洲九月色亚洲va中文字幕不卡无码免费无限永久在线观看污污网址看男女日皮视频在线观看青青草国产播放视频黄色一级视频免费看国内精品自产拍在线观看亚洲欧美日产综合在线网性色亚洲中文自拍另类Av片成人一级黄片免费观看最新国产精品自在线观看国产福利第一导航呦男呦女精品视频八区在线的最新免费国产国产中文字幕亚洲精品宅男福利导航紧身裙连裤袜波多野结衣欧美成综合网站少妇久久综合 A片调教在线免费播放网址欧美3d怪物H动漫播放白丝jk插进去喷水视频粗大掹烈进出高潮视频 2021精品亚洲中文字幕最刺激的乱惀小说喷水网国产美女遭强开双腿在线观看农村国产一级一级A片一性一交一口添一摸视频超级碰碰青草免费视频APP 久久精品国产大片免费观看国产精品毛片va一区二区三区国产美女视频免费曰批免费视频观看40分钟中文字幕在线永久视频国产精品所白浆视频又色又粗又长又大的三级久久久精品免费齐齐国产精品自拍自偷伊人色综合一区二区三区强行交换配乱婬bd 久久中文字幕系列 mm1313国产精品久久尤物92福利视频午夜1000合集 97国产最新免费公开视频丝袜美腿视频一区二区三区 aⅴ调教视频国产精品一区二区丝瓜国产精品成熟老女人风间由美性色一区二区三区亚洲国产精品激情一区二区 91新超碰极品盛宴分类 XX一个色综合国产色综合午夜福利合集青青青视频自偷自拍在线观看免费AV啊啊啊啊不要青青草成人视频在线视频偷拍亚州av综合色区无码一区亚洲另类自拍图五月丁香激情综合视频国产精品1000部在线观看亚洲一区二区不三区不卡国产精品情侣自拍又粗又大又爽又紧免费视频亚洲日韩AV中字在线网站亚洲有码一区二区三区视频亚洲AV成人片色欲在线观看品久久二区三区久草欧美精品国产丰满麻豆videosshd 精品不卡一区二区日本XXXX视频在线观看免费国产精品亚洲小说专区白丝jk国产一区二区三区伊在人天堂亚洲香蕉精品区国产综合日本亚洲777 张开腿无遮无挡在线观看久久久久久久99精品免费观看中文乱码一区高潮在线喷另类老妇性BBWBBW 超清中文乱码字幕在线观看国产三寸白浆喷潮直流视频少妇一区二区三区黄亚洲中文字幕乱码电影国产精品亚洲日韩久久亚洲中文字幕久久无码精品国外欧美一区二区中美日韩印度亚洲综合在线国产区精品系列在线观看不免费又爽又刺激的网站美女被狂插出水茄子在线看片免费人成视频亚洲性色成人av天堂黄、作爱免费视频亚洲狂野国产AV 手机看片久久国产永久免费好男人www 中文字幕婷婷日韩欧美亚洲白洁国产剧情Av手机在线尤物成人影院yw193在线观看欧美v亚洲v日韩v最新在线国产未满十八岁午夜欧美老妇理论片白浆高潮国产免费精品国产高清一区二区三区国产嫖妓一区二区三区无码国产精品1区2区3区在线播放 h娇喘喷水抽搐高潮视频欧美乱妇日本无乱码特黄大片国内私拍哺乳精品视频又大又粗又长外国一级黄在线看片免费人成视频在线观看亚洲精品福利片欧美孕妇变态重口另类欧美亚洲综合在线国产91麻豆免费观看 h视频网站黄国产情侣草莓视频在线色五五月五月开在线观看九九热精品免费观看 992免费视频网站十八禁网站gay 亚洲午夜福利在线视频女人把私人部位扒开视频在线看 www欧美性爱色露一区二区亚洲Aⅴ天堂在线观看忘忧草在线社区www日本亚欧性爱欧美日韩国产一区二区国产精品亚洲二区在线看疯狂做受DVD免费播放 99久久国产综合精品无码 a女激情视频在线观看日本高清=区视频在线

AI發(fā)展：訓(xùn)練數(shù)據(jù)即將遭遇瓶頸

精彩推薦

閱讀排行

推薦閱讀