大模型身瘦路更寬

。但這也讓AI大模型的發(fā)展陷入了一個(gè)怪圈：為追求更高的性能，模型體積不斷膨脹，參數(shù)數(shù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。這種“軍備競(jìng)賽”型開(kāi)發(fā)模式，帶來(lái)了驚人的能源消耗和訓(xùn)練成本，難以為繼。受大模型訓(xùn)練的高昂成本拖累，OpenAI在2024年的虧損額可能達(dá)到50億美元，業(yè)內(nèi)專家預(yù)計(jì)到2026年其虧損將進(jìn)一步攀升至140億美元。

而中國(guó)公司運(yùn)用剪枝、量化

、知識(shí)蒸餾等一系列創(chuàng)新技術(shù)，開(kāi)啟了大模型“瘦身”新風(fēng)尚，走出一條“小而強(qiáng)”的新路徑。以DeepSeek為例，R1在多個(gè)基準(zhǔn)測(cè)試中與美國(guó)OpenAI公司的o1持平，但成本僅為o1的三十分之一。模型性能的追趕速度也很快，OpenAI推出正式版o1模型是在2024年12月，僅僅1個(gè)多月后，DeepSeek就發(fā)布了性能相當(dāng)?shù)腞1模型。

DeepSeek的成功證明

，大模型創(chuàng)新不一定要依賴最先進(jìn)的硬件，而是可以通過(guò)聰明的工程設(shè)計(jì)和高效的訓(xùn)練方法實(shí)現(xiàn)。這種技術(shù)突破不僅降低了AI大模型的硬件門(mén)檻和能源消耗，更重要的是為AI技術(shù)普惠化鋪平了道路。因?yàn)楦〉哪Ｐ鸵馕吨偷牟渴鸪杀?div id="4qifd00" class="flower right">

、教育、制造等諸多領(lǐng)域