是最重要的計(jì)算機(jī)視覺過程之一，它將圖像分割成更小的、多個(gè)片段，這樣的話，目標(biāo)的表示和進(jìn)一步的分析就變得簡(jiǎn)單。這個(gè)過程有各種各樣的應(yīng)用，從在醫(yī)學(xué)圖像定位腫瘤和發(fā)展機(jī)器視覺中的生物測(cè)量識(shí)別的目標(biāo)檢測(cè)。圖像分割過程主要分為兩個(gè)部分：Semantic segmentation和Instance segmentation。

語義分割是指將圖像中的像素分類為有意義的目標(biāo)類別，如天空、道路或公共汽車。

實(shí)例分割包括以像素級(jí)識(shí)別、分類和定位圖像中出現(xiàn)的各種實(shí)例(對(duì)象)，并要求保留圖像中出現(xiàn)的最精細(xì)的特征。它是目標(biāo)檢測(cè)過程中最復(fù)雜的任務(wù)之一。過去，Mask R-CNN是最常用的實(shí)例分割技術(shù)。單階段目標(biāo)測(cè)器技術(shù)YOLO3使用了特征金字塔。在YOLO的最近的一個(gè)版本YOLOv4中，使用了一種新的方法來分割實(shí)例，稱為Path Aggregation Network或PANet或簡(jiǎn)稱為PAN。讓我們更詳細(xì)地了解一下這項(xiàng)技術(shù)。

PANet:

PANet位在于YOLOv4模型的neck，主要通過保留空間信息來增強(qiáng)實(shí)例分割過程。

PANet的性質(zhì)

YOLOv4中選擇PANet進(jìn)行實(shí)例分割的原因是它能夠準(zhǔn)確地保存空間信息，有助于正確定位像素點(diǎn)，形成mask。

使PANet如此準(zhǔn)確的特性有：

1. 從底到上的路徑增強(qiáng)

當(dāng)圖像經(jīng)過神經(jīng)網(wǎng)絡(luò)的各個(gè)層時(shí)，特征的復(fù)雜度增加，同時(shí)圖像的空間分辨率降低。因此，像素級(jí)mask無法通過高層次的特征準(zhǔn)確的識(shí)別。

YOLOv3中使用的FPN使用自頂向下的路徑來提取語義豐富的特征并將其與精確的定位信息結(jié)合起來。但對(duì)于為大目標(biāo)生成mask，這種方法可能會(huì)導(dǎo)致路徑過于冗長(zhǎng)，因?yàn)榭臻g信息可能需要傳播到數(shù)百個(gè)層。

另一方面，PANet使用另一條自底向上的路徑，而FPN采用的自頂向下的路徑。通過使用從底層到頂層的橫向連接，這有助于縮短路徑。這就是所謂的**“shortcut”**連接，它只有大約10層。

2. 自適應(yīng)特征池化

以前使用的技術(shù)，如Mask-RCNN使用單一階段的特征來做mask預(yù)測(cè)。如果感興趣區(qū)域較大，則使用ROI Align Pooling從較高層次提取特征。雖然相當(dāng)準(zhǔn)確，但這仍然可能導(dǎo)致不希望的結(jié)果，因?yàn)橛袝r(shí)兩個(gè)proposals只有10像素的差異，但是分配到了兩個(gè)不同的層，而實(shí)際上它們是非常相似的proposals。

為了避免這種情況，PANet使用來自所有層的特征，并讓網(wǎng)絡(luò)決定哪些是有用的。對(duì)每個(gè)特征圖進(jìn)行ROI對(duì)齊操作，提取目標(biāo)的特征。接下來是元素級(jí)的最大融合操作，以使網(wǎng)絡(luò)適配新的特征。

3. 全連接融合

在Mask-RCNN中，使用FCN來代替全連接層，因?yàn)樗Ａ袅丝臻g信息，減少了網(wǎng)絡(luò)中的參數(shù)數(shù)量。然而，由于所有空間位置的參數(shù)都是共享的，模型實(shí)際上并沒有學(xué)會(huì)如何使用像素位置來進(jìn)行預(yù)測(cè)，默認(rèn)情況下，它會(huì)在圖像的頂部顯示天空，在底部顯示道路。

另一方面，全連接層是位置敏感的，可以適應(yīng)不同的空間位置。

PANet使用來自這兩層的信息來提供更準(zhǔn)確的mask預(yù)測(cè)。

為YOLOv4做的修改

PANet通常使用自適應(yīng)特征池化將相鄰的層相加到一起進(jìn)行mask預(yù)測(cè)。但是，在YOLOv4中使用PANet時(shí)，這種方法做了點(diǎn)修改，例如，不是相加相鄰的層，而是對(duì)它們應(yīng)用一個(gè)拼接操作，以提高預(yù)測(cè)的準(zhǔn)確性。

性能分析

使用ResNet-50骨干，使用多尺度圖像進(jìn)行訓(xùn)練，PANet超過了Mask-RCNN和2016年冠軍，并且在2017年COCO實(shí)例分割挑戰(zhàn)中也獲得了冠軍，在不需要大batch訓(xùn)練的目標(biāo)檢測(cè)任務(wù)中排名第二。

在Cityscapes數(shù)據(jù)集上，它的表現(xiàn)也一直優(yōu)于Mask-RCNN。經(jīng)過COCO的預(yù)訓(xùn)練，該模型能夠比Mask-RCNN高出4.4個(gè)百分點(diǎn)。

YOLOv4采用了PANet，由于其簡(jiǎn)單的實(shí)現(xiàn)和高性能，提高了預(yù)測(cè)的準(zhǔn)確性，速度是EfficientDet的兩倍。

從APs來看，YOLOv4取得AP值為43.5% (65.7% AP??)在MS COCO數(shù)據(jù)集上，并在Tesla V100上實(shí)現(xiàn)了~ 65幀/秒的實(shí)時(shí)的速度，使其成為最快和最準(zhǔn)確的檢測(cè)器。由于包含了PANet而不是YOLOv3中使用的FPN，YOLOv4的性能提高了10-12% !