BERT在CNN上也能用

？字節(jié)跳動(dòng)研究成果中選ICLR 2023 Spotlight

。

解決方案 SparK：稀疏且層次化的掩碼建模

作者團(tuán)隊(duì)提出了 SparK (Sparse and hierarchical masKed modeling) 來(lái)解決前文兩個(gè)挑戰(zhàn)

。

? 其一，受三維點(diǎn)云數(shù)據(jù)處理的啟發(fā)

，作者團(tuán)隊(duì)提出將經(jīng)過(guò)掩碼操作 (挖空操作) 后的零碎圖片視為稀疏點(diǎn)云，并使用子流形稀疏卷積 (Submanifold Sparse Convolution) 來(lái)進(jìn)行編碼。這就讓卷積網(wǎng)絡(luò)能夠自如處理隨機(jī)刪除后的圖像。

? 其二

，受 UNet 優(yōu)雅設(shè)計(jì)的啟發(fā)，作者團(tuán)隊(duì)自然地設(shè)計(jì)了一種帶有橫向連接的編碼器-解碼器模型，讓多尺度特征在模型的多層次之間流動(dòng)，讓 BERT 徹底擁抱計(jì)算機(jī)視覺(jué)的多尺度黃金標(biāo)準(zhǔn)。

至此，一種為卷積網(wǎng)絡(luò) (CNN) 量身定制的稀疏的

、多尺度的掩碼建模算法 SparK 誕生了。

SparK 是通用的：其可被直接運(yùn)用在任何卷積網(wǎng)絡(luò)上，而無(wú)需對(duì)它們的結(jié)構(gòu)進(jìn)行任何修改

，或引入任何額外的組件——不論是我們耳熟能詳?shù)慕?jīng)典 ResNet，還是近期的先進(jìn)模型 ConvNeXt，均可直接從 SparK 中受益。

從 ResNet 到 ConvNeXt：三大視覺(jué)任務(wù)性能提升

作者團(tuán)隊(duì)選擇了具代表性的兩個(gè)卷積模型家族 ResNet 和 ConvNeXt

，并在圖像分類(lèi)，目標(biāo)檢測(cè)、實(shí)例分割任務(wù)上進(jìn)行了性能測(cè)試。

在經(jīng)典 ResNet-50 模型上

，SparK 作為唯一的生成式預(yù)訓(xùn)練， 達(dá)到了 State-of-the-art 水準(zhǔn)：

在 ConvNeXt 模型上