盡管二維卷積神經(jīng)網(wǎng)絡(luò)（2D CNNs）在圖像識別方面取得了很大的成功，但是在過去的數(shù)年中，用于時空信號任務(wù)的三維卷積神經(jīng)網(wǎng)絡(luò)仍然受到性能和效率的困擾。近些年來，領(lǐng)域內(nèi)學(xué)者對分析三維卷積神經(jīng)網(wǎng)絡(luò)中不同要素的性質(zhì)進(jìn)行了很多嘗試，為設(shè)計(jì)更強(qiáng)大高效的時空網(wǎng)絡(luò)框架奠定基礎(chǔ)。其中，時空融合是一關(guān)鍵要素。它決定了網(wǎng)絡(luò)前饋過程中每一層如何提取、融合空間信號和時間信號。目前已有的時空融合分析方法通常是經(jīng)驗(yàn)性地搭建不同融合策略，然后通過基于網(wǎng)絡(luò)訓(xùn)練而獲得的性能得到觀察并進(jìn)行規(guī)律總結(jié)。由于網(wǎng)絡(luò)訓(xùn)練的開銷過大，這類方法僅能夠?qū)τ邢迶?shù)量的融合策略進(jìn)行網(wǎng)絡(luò)級別分析。 在本文中，我們將時空融合策略嵌入到預(yù)先定義的概率空間，使我們能夠?qū)θ我舛喾N融合策略進(jìn)行網(wǎng)絡(luò)級評估，而不必分別訓(xùn)練它們，極大地提高了針對時空融合策略的分析效率。 在基于深度學(xué)習(xí)的眾多視頻應(yīng)用中，例如動作識別、視頻標(biāo)簽和人員重新識別，時空特征融合是不可或缺的組成部分。以動作識別為例，深度網(wǎng)絡(luò)中的時空融合大致可分為兩大類：1，兩路（Two-stream）形式的融合/集成，例如自然圖像幀中的空間語義信息與光流場中的運(yùn)動信息獨(dú)立提取后相互結(jié)合；2，單一三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNNs）中時空信息的交互與融合。本文主要關(guān)注于后者上。 概率角度分析時空融合從概念上講，三維卷積神經(jīng)網(wǎng)絡(luò)能夠很好地學(xué)習(xí)視頻內(nèi)容的時空特征，然而，根據(jù)最近的研究顯示，其性能仍然對不同的時空融合策略十分敏感。現(xiàn)有的針對時空融合的分析工作通常經(jīng)驗(yàn)性地設(shè)計(jì)不同的融合策略，并根據(jù)相應(yīng)的性能表現(xiàn)來進(jìn)行分析總結(jié)。由于每種策略都需要進(jìn)行單獨(dú)的訓(xùn)練和評估，以及現(xiàn)有解決方案很難針對大量融合策略進(jìn)行分析評估，同時也無法支持細(xì)粒度的層級分析。 為了提高分析效率，本文提出從概率的角度分析三維卷積神經(jīng)網(wǎng)絡(luò)中的時空融合。具體而言，我們將時空融合分析建模為一個優(yōu)化問題，旨在將每個單獨(dú)的融合策略均視為隨機(jī)事件并嵌入到一個滿足以下兩個性質(zhì)的概率空間：1，可以從概率空間低成本地得到每個時空融合策略（事件）的性能，因此我們可以基于該性能來評估不同融合策略，而不必分別訓(xùn)練每個策略；2，能夠通過該概率空間推斷出時空融合的局部性偏好，從而可以對融合策略進(jìn)行逐層的細(xì)粒度分析。算法框架如下圖所示：  圖1：基于概率空間嵌入的時空融合分析算法框架 圖1中不同顏色的方塊表示由不同形式的卷積核實(shí)例化的基本時空融合單元，比如，藍(lán)色表示空間融合單元（由作用于空間域上的二維卷積核實(shí)例化）；綠色表示時空融合單元（由三維卷積核實(shí)例化）；黃色表示空間與時空的混合融合單元（由二維與三維混合卷積核實(shí)例化）。 進(jìn)一步地，我們通過觀察發(fā)現(xiàn)，由融合策略和其對應(yīng)的網(wǎng)絡(luò)參數(shù)權(quán)重的聯(lián)合后驗(yàn)分布所定義的概率空間能夠很好地滿足上述兩個性質(zhì)。為了高效地將時空融合策略嵌入到該概率空間，我們借鑒 Variational Dropout，提出了 Variational DropPath, 通過對模板網(wǎng)絡(luò)（template network）進(jìn)行端到端的訓(xùn)練，來完成嵌入過程。其中，模板網(wǎng)絡(luò)是混合了不同的時空融合策略的超網(wǎng)絡(luò)，并可通過 DropPath 操作得到采用不同混合策略的子網(wǎng)絡(luò)，如圖2所示：  圖2：Variational DropPath 的訓(xùn)練過程 通過推導(dǎo)我們發(fā)現(xiàn)，對該模版網(wǎng)絡(luò)按照如下目標(biāo)函數(shù)進(jìn)行端到端的優(yōu)化：  近似等價于最小化：KL(Q(ω,M)||P(ω,M|X,Y)) 。其中 M 和 ω 表示時空融合策略以及對應(yīng)的網(wǎng)絡(luò)參數(shù)權(quán)重；p 表示 DropPath 的概率；N 為總樣本數(shù)；? 為依 p 采樣得到的二值掩碼（Binary mask），l、i、u 為模版網(wǎng)絡(luò)中當(dāng)前層數(shù)、使用的特征圖的所屬層數(shù)以及基本時空融合單元的索引；Q 為分解（factorize）在不同基本時空融合單元上的變分分布（variational distribution）。 上述近似等價關(guān)系表明，通過對模板網(wǎng)絡(luò)的訓(xùn)練，我們可以將不同時空融合策略嵌入到由后驗(yàn)分布定義的概率空間。當(dāng)訓(xùn)練完成后，從概率空間采樣不同的時空融合策略以及其對應(yīng)的網(wǎng)絡(luò)參數(shù)等價于按照收斂后的 DropPath 概率從模板網(wǎng)絡(luò)采樣不同的子網(wǎng)絡(luò)。由于策略是和其對應(yīng)的參數(shù)權(quán)重成對進(jìn)行采樣的，故可以直接在驗(yàn)證集上對該策略進(jìn)行測試得到性能作為評價指標(biāo)。同時，我們還可計(jì)算網(wǎng)絡(luò)中每一層不同融合單元的邊緣概率分布，作為細(xì)粒度的時空融合偏好評價指標(biāo)： 圖3：計(jì)算網(wǎng)絡(luò)中每一層不同融合單元的邊緣概率分布 圖3中紅點(diǎn)代表采樣得到性能（分類準(zhǔn)確度）最高的一組樣本的具體時空融合策略，柱狀圖表示每一層使用不同時空融合單元的邊緣分布，它能夠反映出每一層哪些融合單元更傾向于被使用。綜合這兩組信息我們可以在針對不同性質(zhì)的數(shù)據(jù)集設(shè)計(jì)不同的融合策略。 實(shí)驗(yàn)結(jié)果為了驗(yàn)證本文方法的有效性和普適性，我們在四種不同類型的動作識別數(shù)據(jù)集上做驗(yàn)證實(shí)驗(yàn)，它們分別是 Something-something V1、Kinetics400、Something-something V2 和 UCF101。實(shí)驗(yàn)設(shè)計(jì)主要驗(yàn)包含兩個部分：1，是否能夠從概率空間得到比現(xiàn)有方法性能更好的時空融合策略；2，根據(jù)上述兩組信息總結(jié)得到的規(guī)律，是否能適用于不同的主干網(wǎng)絡(luò)（backbone network）。 對于第一點(diǎn)，我們將采樣得到的性能最好的樣本與其它基于三維卷積神經(jīng)網(wǎng)絡(luò)的 state-of-the-art 方法進(jìn)行對比，發(fā)現(xiàn)無論從模型復(fù)雜度還是分類準(zhǔn)確行上，都取得了最佳成績，如表1： 表1： 性能檢驗(yàn) 對于第二點(diǎn)，我們在不同數(shù)據(jù)集上根據(jù)對采樣情況以及邊緣分布的觀察，總結(jié)得到融合偏好的規(guī)律，并將其應(yīng)用到不同的主干網(wǎng)絡(luò)中去，發(fā)現(xiàn)能夠給絕大多數(shù)主干網(wǎng)絡(luò)帶來可觀的性能提升，說明我們的分析方法可以幫助得到泛化性能非常好的觀察與規(guī)律。具體如表2：  表2：普適性檢驗(yàn) 其中 Opt 代表根據(jù)從概率空間所得到的信息來設(shè)計(jì)在不同主干網(wǎng)絡(luò)上設(shè)計(jì)的時空融合策略，其它策略，如 ST 表示在主干網(wǎng)絡(luò)上全部使用時空融合單元的融合策略，均為對照組。數(shù)字表示分類 Top1 準(zhǔn)確度（%）?？梢园l(fā)現(xiàn)，我們的方法提供的時空融合信息能夠很有效地幫助不同的主干網(wǎng)絡(luò)進(jìn)行時空融合策略設(shè)計(jì)，展示出了較強(qiáng)的泛化性能。 作為總結(jié)，本文我們將分析三維卷積神經(jīng)網(wǎng)絡(luò)中時空融合的問題轉(zhuǎn)換為優(yōu)化問題，旨在將所有可能的融合策略嵌入到由融合策略和其對應(yīng)的網(wǎng)絡(luò)參數(shù)權(quán)重的聯(lián)合后驗(yàn)分布所定義的概率空間中。這樣的概率空間使我們能夠從概率的角度去研究時空融合，無需單獨(dú)的網(wǎng)絡(luò)訓(xùn)練就可以評估和分析各種融合策略，且可以提供細(xì)粒度的局部偏好。我們進(jìn)一步提出 Variational DropPath，使得端到端地訓(xùn)練模板網(wǎng)絡(luò)即可有效地解決上述優(yōu)化問題。通過在四個動作識別數(shù)據(jù)庫上的對比實(shí)驗(yàn)，證明了這一方法的有效性和普適性。 更多細(xì)節(jié)請參考原文和附錄： https:///pdf/2004.04981.pdf 實(shí)驗(yàn)代碼請參考 GitHub 目錄： https://github.com/scenarios/Probabilistic3DCNN |
|
|
