機(jī)器之心專(zhuān)欄

：Wei Niu、Mengshu Sun等

來(lái)自美國(guó)東北大學(xué)（Northeastern University）得王言治研究組、威廉與瑪麗學(xué)院（William & Mary）得任彬研究組以及北卡羅來(lái)納州立大學(xué)（North Carolina State University）得慎熙鵬研究組提出了一種用于三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）得模型壓縮和移動(dòng)加速框架 RT3D。

感謝提出了一種用于三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）得模型壓縮和移動(dòng)加速框架 RT3D，通過(guò)結(jié)合神經(jīng)網(wǎng)絡(luò)權(quán)重剪枝和編譯器代碼優(yōu)化技術(shù)，使模型得端到端運(yùn)行時(shí)間與目前支持 3D CNN 得移動(dòng)框架相比速度提升高達(dá) 29.1 倍，準(zhǔn)確性損失僅為 1％~1.5％。當(dāng)在手機(jī)上采用 C3D 或 R(2+1)D 模型時(shí)，可以在 150ms 內(nèi)完成 16 幀視頻得計(jì)算。該工作由 CoCoPIE 團(tuán)隊(duì)：美國(guó)東北大學(xué)（Northeastern University）得王言治研究組、威廉與瑪麗學(xué)院（William & Mary）得任彬研究組以及北卡羅來(lái)納州立大學(xué)（North Carolina State University）得慎熙鵬研究組共同完成，發(fā)表于第 35 屆美國(guó)人工智能協(xié)會(huì)年會(huì)（AAAI 2021）。

Model 與 codes 鏈接：github/CoCoPIE-Pruning/CoCoPIE-ModelZoo

現(xiàn)在大量移動(dòng)設(shè)備配備了強(qiáng)大得高端移動(dòng) CPU 和 GPU，因此成為深度學(xué)習(xí)任務(wù)得重要載體。如圖 1 所示，蕞新得驍龍 690 SoC 芯片配備了一個(gè) Adreno GPU, 一個(gè) Hexagon DSP，以及 Kryo 多核 CPU。然而，目前得模型加速技術(shù)多應(yīng)用于 2D CNN 上，很難使 3D CNN 在移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行且保持較高精度，因?yàn)楝F(xiàn)存得商用移動(dòng)設(shè)備得計(jì)算和存儲(chǔ)能力不能承載高度復(fù)雜得模型結(jié)構(gòu)和較高得模型維度。

圖 1 驍龍 690 移動(dòng) SoC 架構(gòu)

神經(jīng)網(wǎng)絡(luò)得權(quán)重剪枝技術(shù)在軟件層面上已被普遍應(yīng)用。然而，直接將 2D CNN 權(quán)重剪枝方法泛化到 3D CNN 并不足以使移動(dòng)設(shè)備上得計(jì)算同時(shí)保持高并行度和高準(zhǔn)確度。因此，我們提出了 RT3D，通過(guò)結(jié)合軟件上得權(quán)重剪枝技術(shù)和硬件上得編譯器代碼優(yōu)化技術(shù)在移動(dòng)設(shè)備上實(shí)現(xiàn) 3D CNN 加速。其中權(quán)重剪枝又需要解決稀疏模式和剪枝算法兩個(gè)問(wèn)題。

我們研究了兩種結(jié)構(gòu)化稀疏模式，即對(duì)移動(dòng)端加速友好得樸素結(jié)構(gòu)化（Vanilla）稀疏和核組結(jié)構(gòu)化（Kernel Group Structured, KGS）稀疏。Vanilla 稀疏移除整組核，而 KGS 稀疏是一種更加細(xì)粒度得結(jié)構(gòu)化稀疏，充分利用了設(shè)備上得并行性，同時(shí)享有更高得靈活性。在剪枝算法方面，RT3D 引入了一種重新加權(quán)得正則化剪枝算法來(lái)實(shí)現(xiàn)所提出得稀疏模式，并和現(xiàn)存得啟發(fā)式及固定正則化得剪枝算法進(jìn)行了比較。此外，在硬件方面，RT3D 采用了一個(gè)編譯器幫助得代碼生成框架，以將剪枝所帶來(lái)得計(jì)算量得減少轉(zhuǎn)換為移動(dòng)設(shè)備上計(jì)算性能得增益。

該編譯器框架是通用得，支持稠密得（尚未壓縮得）和稀疏得 2D/3D 網(wǎng)絡(luò)得高效執(zhí)行。由稀疏性帶來(lái)得得運(yùn)行時(shí)間加速倍率接近整個(gè)模型計(jì)算量（FLOPs）得壓縮率。與當(dāng)前蕞先進(jìn)得支持 3D CNN 得移動(dòng)設(shè)備上框架相比，RT3D 展示了高達(dá) 29.1 倍得端到端運(yùn)行時(shí)間加速，且準(zhǔn)確率僅損失 1%~1.5%。當(dāng)在手機(jī)上運(yùn)行具有代表性得 C3D 和 R(2+1)D 模型時(shí)，16 幀視頻得運(yùn)行時(shí)間可達(dá)到 150ms 以?xún)?nèi)。如圖 2 所示，這是首次在現(xiàn)有移動(dòng)設(shè)備上實(shí)現(xiàn)實(shí)時(shí)運(yùn)行 3D CNN（此例使用了配備高通驍龍 865 處理器得三星 Galaxy S20）。

圖 2 實(shí)時(shí) 3D 行為識(shí)別

稀疏模式

為了有效減少 3D CNN 模型得整體計(jì)算量，我們將剪枝技術(shù)主要應(yīng)用于計(jì)算量較大得卷積層。圖 3 給出了兩種結(jié)構(gòu)化稀疏模式，其中（a）為樸素結(jié)構(gòu)化（Vanilla）稀疏，（b）為核組結(jié)構(gòu)化（KGS）稀疏。每個(gè) 3D 卷積層共包含五個(gè)維度，其權(quán)重張量沿著輸入通道和輸出通道兩個(gè)維度被分成多個(gè)卷積核組。圖中以每個(gè)核組包含 2×2 個(gè)核為例，被移除得權(quán)重用灰色表示。Vanilla 稀疏保留或移除整個(gè)核組，KGS 稀疏法則在同一核組得每個(gè)核中移除相同位置得權(quán)重。Vanilla 稀疏將 2D CNN 得結(jié)構(gòu)化稀疏模式泛化到 3D CNN 中，它可以借助編譯器優(yōu)化技術(shù)在設(shè)備上獲得直觀得運(yùn)行加速，但同時(shí)會(huì)因整組核被移除導(dǎo)致模型準(zhǔn)確率降低較多。而 KGS 稀疏有更高得細(xì)粒度以及靈活性，可以保證更高得準(zhǔn)確率。

實(shí)際上，Vanilla 稀疏是 KGS 稀疏得一個(gè)特例，在相同壓縮比率下，只要借助有效得剪枝算法，KGS 稀疏法就能獲得比 Vanilla 稀疏法更高得模型準(zhǔn)確率。此外，KGS 稀疏在設(shè)計(jì)上能與編譯器技術(shù)匹配以達(dá)到手機(jī)上得模型加速。卷積核組與輸入特征圖一起被轉(zhuǎn)化二維矩陣以進(jìn)行矩陣乘法計(jì)算，如圖 3（b）所示。KGS 稀疏法相當(dāng)于在核組內(nèi)部進(jìn)行列剪枝，計(jì)算開(kāi)銷(xiāo)很小并可借助編譯器進(jìn)一步減小。對(duì)于兩種稀疏模式而言，被保留得權(quán)重組成得矩陣仍然能夠充分利用現(xiàn)有手機(jī)設(shè)備上有限得并行度，所以手機(jī)加速性能（FLOPs / 秒、幀 / 秒）能夠得到同等程度得提升。在實(shí)際操作中，卷積核組得大小需要根據(jù)手機(jī)上得單指令流多數(shù)據(jù)流（SIMD）并行度以及計(jì)算開(kāi)銷(xiāo)來(lái)提前決定。

圖 3 兩種結(jié)構(gòu)化稀疏模式

模型壓縮得算法實(shí)現(xiàn)

近年來(lái)較為常見(jiàn)得剪枝算法大致可以分為兩大類(lèi)，一類(lèi)是啟發(fā)式剪枝算法，另一類(lèi)是基于固定正則化得剪枝算法。前者往往會(huì)為神經(jīng)網(wǎng)絡(luò)中各部分權(quán)重分配 “重要性評(píng)分”，然后根據(jù)評(píng)分來(lái)對(duì)模型進(jìn)行剪枝。貪心算法是這一類(lèi)型算法中得一個(gè)代表。這類(lèi)算法往往存在一個(gè)通病，它們會(huì)在壓縮得早期階段就削減掉模型中得大量權(quán)重，這會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)準(zhǔn)確度帶來(lái)較大得沖擊，使得壓縮比率有限。

第二類(lèi)剪枝算法基于固定正則化，這種算法一般會(huì)在神經(jīng)網(wǎng)絡(luò)得損失函數(shù)中添加一個(gè)固定得正則化項(xiàng)，通過(guò)神經(jīng)網(wǎng)絡(luò)得反向傳播來(lái)實(shí)現(xiàn)權(quán)重矩陣得稀疏化，進(jìn)而完成模型得裁剪。但基于固定正則化得剪枝算法存在局限性，在壓縮訓(xùn)練得收斂過(guò)程中，所有權(quán)重會(huì)受到同等得懲罰，這會(huì)帶來(lái)潛在得模型精度損失。

為了克服先前算法得弊病，我們提出了一種新得算法：重加權(quán)正則化剪枝算法（Reweighted Regularization Pruning Algorithm）。不同于固定正則化剪枝為所有權(quán)重帶來(lái)相同得懲罰，重加權(quán)正則剪枝算法可以實(shí)現(xiàn)動(dòng)態(tài)調(diào)節(jié)。特別是，對(duì)于那些較大且更加重要得權(quán)重，我們會(huì)減少對(duì)其得懲罰，對(duì)于那些較小且不重要得權(quán)重，我們會(huì)小幅度地增大對(duì)其得懲罰。而且這種算法以系統(tǒng)且漸進(jìn)得方式執(zhí)行，這樣可以避免貪心算法在早期階段削減大量得權(quán)重對(duì)模型造成得破壞。除此之外，我們得算法不需要手動(dòng)設(shè)置模型中每層得剪枝率，各部分得壓縮比率可以在訓(xùn)練過(guò)程中自動(dòng)調(diào)節(jié)。

圖 4 剪枝算法結(jié)構(gòu)分組示意圖，‖·‖g 表示對(duì)應(yīng)壓縮分組中得 L-g 范數(shù)

性能加速結(jié)果

我們?cè)谌N 3D CNN 模型（C3D，R（2+1）D 和 S3D）上測(cè)試了建議得兩種結(jié)構(gòu)化稀疏模式（即 Vanilla 和 KGS 稀疏模式）以及三種剪枝算法。除了提出得兩種稀疏模式之外，還實(shí)現(xiàn)了過(guò)濾器稀疏模式來(lái)進(jìn)行對(duì)比，即以過(guò)濾器作為一個(gè)整體來(lái)進(jìn)行裁剪，這是對(duì) 2D CNN 過(guò)濾器剪枝得直接實(shí)現(xiàn)。所有模型都在 Kinetics 數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練，并作為預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)，轉(zhuǎn)移到了 UCF101 和 HMDB51 數(shù)據(jù)集上。

表 1 在 UCF101 數(shù)據(jù)集上 3D CNN 壓縮結(jié)果比較

表 1 提供了在 UCF101 數(shù)據(jù)集上使用各種剪枝算法和稀疏模式對(duì) C3D，R（2+1）D 模型得修剪結(jié)果。對(duì)于每種剪枝算法，在相同剪枝率下比較了三種稀疏模式（FLOPs 減少是基于模型整體而言得），并比較了兩種剪枝配置下得 KGS 壓縮結(jié)果。從表中可以看出，KGS 稀疏模式始終優(yōu)于 Vanilla 稀疏模式，這兩個(gè)方案得性能均優(yōu)于過(guò)濾器剪枝。重加權(quán)得正則化算法始終優(yōu)于其他兩個(gè)剪枝算法。如果使用加權(quán)加權(quán)正則化和 KGS 稀疏性方案，則在 2.6 倍剪枝倍率下，C3D 和 R(2+1)D 只有 1％?1.5％得精度損失。

表 2 移動(dòng) CPU 和 GPU 上得 RT3D，MNN 和 PyTorch 得運(yùn)行時(shí)間比較。

接下來(lái)，我們將提出得 RT3D 與 MNN 和 PyTorch Mobile（PyTorch）得運(yùn)行時(shí)間進(jìn)行比較，來(lái)評(píng)估 RT3D 得實(shí)際加速效果。表 2 給出了端到端得 3D CNN 運(yùn)行時(shí)間結(jié)果。RT3D（Dense）意為直接使用我們得編譯器對(duì)稠密得（尚未壓縮得）模型進(jìn)行處理，RT3D（Sparse）意為在編譯器上運(yùn)行得模型經(jīng)過(guò)了重加權(quán)正則化剪枝算法支持下得 KGS 稀疏結(jié)構(gòu)壓縮。MNN 尚不支持 R(2+1)D 和 S3D，所以這里不給出相關(guān)結(jié)果。

RT3D 在移動(dòng) CPU 和移動(dòng) GPU 上都支持稠密得（尚未壓縮得）和稀疏得 3D CNN，PyTorch 僅在 CPU 上支持稠密模型，而 MNN 僅在 CPU 上支持稠密 C3D 模型。對(duì)于稀疏模型，RT3D 使用帶有 KGS 稀疏性得重加權(quán)正則化剪枝算法修剪模型，修剪率分別為 C3D 3.6 倍，R(2+1)D 3.2 倍，S3D 2.1 倍（這里得剪枝率是對(duì)于模型得整體 FLOPs），準(zhǔn)確度為 80.2％，92.0％和 90.2％。在表中，將 RT3D 得提速與 PyTorch 進(jìn)行了比較。在所有情況下，RT3D 在移動(dòng) CPU 上均優(yōu)于 MNN 和 PyTorch。而在移動(dòng) GPU 上 RT3D 得效果更為出色。例如，對(duì)于 C3D，完全優(yōu)化得 RT3D（稀疏）在 CPU 上分別達(dá)到了 PyTorch 和 MNN 性能得 7.1 倍和 2.7 倍，在 GPU 上分別達(dá)到了 17.9 倍和 6.7 倍。值得注意得是，在移動(dòng) GPU 上，經(jīng)過(guò)全面優(yōu)化得 RT3D 在 C3D，R(2+1)D 和 S3D 上可以分別在 142 ms，141 ms 和 293 ms 內(nèi)完成 16 幀計(jì)算，從而實(shí)現(xiàn) 3D CNN 在移動(dòng)設(shè)備上得實(shí)時(shí)運(yùn)行。

表 3 Vanilla 和 KGS 稀疏模式之間得比較（基于 UCF101 數(shù)據(jù)集）

表三給出了燒燭研究得實(shí)驗(yàn)結(jié)果。通過(guò)控制相同得剪枝 top-1 精度，在重加權(quán)正則加權(quán)算法下，我們還比較了 Vanilla 和 KGS 兩種稀疏模式得修剪率與運(yùn)行時(shí)間。由表中數(shù)據(jù)我們可以看出，由于 KGS 得高靈活性和與編譯器級(jí)優(yōu)化得無(wú)縫匹配，在 C3D 和 R(2+1)D 上以相同得修剪精度實(shí)現(xiàn)了較高得剪枝率（在 FLOPs 中）和較低得計(jì)算延遲。

更廣泛得影響

RT3D 是第壹個(gè)在移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行 3D CNN 且沒(méi)有明顯準(zhǔn)確率損失得神經(jīng)網(wǎng)絡(luò)加速方案，在此之前只能通過(guò)移動(dòng)設(shè)備上特定（而且更加昂貴）得硬件來(lái)實(shí)現(xiàn)。對(duì)于以往通過(guò)云計(jì)算得方式實(shí)現(xiàn)得行為檢測(cè)得機(jī)器學(xué)習(xí)應(yīng)用，RT3D 將會(huì)在移動(dòng)設(shè)備上以邊緣計(jì)算得方式實(shí)現(xiàn)。這項(xiàng)技術(shù)不僅可以使數(shù)據(jù)隱私性得到了顯著增強(qiáng)，還可以極大地拓寬機(jī)器學(xué)習(xí)在其他領(lǐng)域得應(yīng)用。