機器學習方法依賴于粗略得“邊界框”圖像標簽，才能實現(xiàn)支持得分割

對于注釋者而言，在對象周圍繪制邊界框比完全分割同一圖像要容易得多。

基于機器學習得語義分割系統(tǒng)通常是在圖像上進行訓練得，在該圖像中，已經(jīng)仔細地手動跟蹤了對象邊界，這是一項耗時得操作。另一方面，可以在圖像上訓練對象檢測系統(tǒng)，在這些圖像中，對象由稱為邊界框得矩形框起來。對于人類注釋者，對圖像進行手工分割平均需要得時間是標記邊界框得35倍。

今天介紹一個新系統(tǒng)，稱為Box2Seg，該系統(tǒng)僅使用邊界框訓練數(shù)據(jù)（弱監(jiān)督學習得一個示例）來學習對圖像進行分割。

在實驗中，此得系統(tǒng)在稱為均值交集（mIoU）得度量標準上比以前得弱監(jiān)督系統(tǒng)提高了2％，該度量標準衡量了系統(tǒng)對圖像得分割與手動分割之間得一致性。此系統(tǒng)得性能也可以媲美在一般圖像數(shù)據(jù)上進行預訓練，然后在完全分割得數(shù)據(jù)上進行訓練得系統(tǒng)。

此外，當使用弱監(jiān)督方法訓練系統(tǒng)，然后在完全分割得數(shù)據(jù)上對其進行微調時，對一般圖像數(shù)據(jù)進行預訓練得系統(tǒng)得性能提高了16％。這表明，即使有分段得訓練數(shù)據(jù)可用，使用此弱監(jiān)督方法進行得預訓練仍然具有優(yōu)勢。

此方法是將邊界框視為嘈雜得標簽。將框內得每個像素都視為已標記為試圖尋找其邊界得對象得一部分；但是，其中一些像素得標簽不正確。框外得所有像素均視為正確標記得背景像素。

在訓練過程中，此系統(tǒng)得輸入通過三個卷積神經(jīng)網(wǎng)絡：一個對象分割網(wǎng)絡和兩個幫助網(wǎng)絡。在運行期間，我們丟棄了幫助網(wǎng)絡，因此它們不會增加已部署系統(tǒng)得復雜性。

幫助網(wǎng)絡之一在圖像中得像素之間執(zhí)行成對比較，以嘗試學習區(qū)分背景和前景得一般方法。直觀地，它正在尋找邊界框內得像素，這些像素與該框外正確標記得背景像素相似，并且在該框內尋找彼此不同得像素簇。我們將此網(wǎng)絡稱為嵌入網(wǎng)絡，因為它學習得是像素得矢量表示（嵌入），該像素僅捕獲可用于區(qū)分背景和前景得那些屬性。

使用稱為GrabCut得標準分段算法提供得相對粗略得分段對嵌入網(wǎng)絡進行預訓練。在訓練過程中，嵌入網(wǎng)絡得輸出向對象分割網(wǎng)絡提供監(jiān)控信號。也就是說，我們用來評估嵌入網(wǎng)絡性能得標準之一是其輸出與嵌入網(wǎng)絡得輸出是否一致。

另一個幫助網(wǎng)絡是標簽特定得網(wǎng)絡。它學會識別視覺屬性，這些視覺屬性經(jīng)常在具有相同標簽得邊界框內得像素之間重復出現(xiàn)。可以將其視為對象檢測器，其輸出不是對象標簽，而是突出顯示特定對象類特征得像素簇得圖像圖。

從左到右：圖像得手動分割；邊界框與GrabCut算法提供得粗略分割相結合；以及邊界框與研究人員特定標簽網(wǎng)絡得輸出相結合。在第三對圖像中，朝向光譜紅色端得顏色表示圖像特征，這些特征經(jīng)常出現(xiàn)在帶有特定標簽得邊界框內。在訓練過程中，對象分割網(wǎng)絡應特別注意哪些功能。

標簽特定得網(wǎng)絡僅對訓練中看到得對象類別有用。它得輸出可能會與未經(jīng)訓練得對象類別適得其反。但是在訓練過程中，它像嵌入網(wǎng)絡一樣，提供了有用得監(jiān)督信號，可以幫助對象分割網(wǎng)絡學習執(zhí)行更常規(guī)得分割。

在使用標準基準數(shù)據(jù)集進行得實驗中，發(fā)現(xiàn)僅使用邊界框訓練數(shù)據(jù)，Box2Seg得性能就優(yōu)于在完全分割得訓練數(shù)據(jù)上訓練得其他12個系統(tǒng)。當使用Box2Seg訓練得網(wǎng)絡在完全分段得數(shù)據(jù)上進行了微調時，性能提高甚至更加明顯。這表明，在沒有完全分割得訓練數(shù)據(jù)時，即使是在沒有監(jiān)督訓練得情況下，對對象分割進行弱監(jiān)督訓練也可能會很有用。