「圖像分割里程碑」南開提出首個人眼模擬分割指標，性能當前最優

新智元專欄

來源：IJCAI Oral 2018

作者：龔成，南開大學研究生

編輯：三石

【新智元導讀】圖像分割是以人眼識別為基礎，而人眼識別是從整體到局部的分割方式。本文首次提出了一種模擬人眼判別的新指標，結果遠優於現有方法，並證明其與人眼判別結果更加一致。

圖像分割往往是以人眼識別為基礎的，而人眼識別是從整體到局部的分割方式。本文從整體和局部兩個方向出發，提出了一種新穎而高效的增強校準度量方法（E-measure）用於二值前景圖的評估, 通過簡單地結合局部信息與全局信息得到了非常可靠的評價結果。

對於GT（GroundTruth，真值圖）與分割演算法預測的FM （ForegroundMap，前景圖），圖像評價指標的意義即為計算FM與GT的相似度，為介於0-1之間的值（可以看作概率），1表示完全一樣，而0則根據不同的演算法有不同的結果，認為是完全不一樣（或者與GT正好相反）。GT往往是研究人員手工標註的，

一般認為GT代表的是人眼分割的結果。而評價指標演算法的目標，就是取得跟人眼進行圖像分類一樣的結果。而目前廣泛使用的IOU是基於局部信息的誤差度量（像素級別），而忽略了圖像的全局信息，從而導致其評估不準確。

E-measure是基於局部像素信息差別與全局均值信息的評估方法，我們在5個基準數據集上採用5個元度量證明了E-measure遠遠優於已有的度量方法，並且在我們提出的人眼排序數據集上取得了最好的結果，證明其與和人的主觀評價具有高度一致性。

問題引出：管中窺豹，只可見一斑

評價指標的合理與否對一個領域中模型的發展起到決定性的作用，現有的前景圖檢測中應用最廣泛的評價指標為IOU（Intersection-Over-Union，交並集）,如圖1, IOU的公式可表示為公式1。

圖1：IOU的形象化表示

不難看出IOU是基於局部像素差異的評估方法，缺失了全局信息。如圖2所示，(d)中所示不過是雜訊圖，很明顯(c)中的圖與(b) 中GT更相似，而(d)實際上可能只與全白或者全黑的前景圖結果差不多，而對於全白或全黑圖，我們可以認為是不相似的（但是並非相似度值為0，事實上為0一般表示完全相反）。而在通過IOU演算法的結果卻告訴我們，(d)比(c)更好！這顯然是不合理的。

圖2：不同類型前景圖FM的評價對比

只基於局部像素差異對計算機來說或許是有效的，但是不符合人眼分割圖像的機制。我們來實驗分析一個簡單的例子，如圖3，藍色範圍為GT，紅色為FM。可以看出，(a)和(b)的FM形狀差別很大，但是其與GT的交卻完全一樣，導致得到完全一樣的結果。

圖3：IOU簡單分析，藍色範圍為GT，紅色為檢FM，(a)與(b)中交集面積一樣

因為IOU只基於局部像素差異進行評估，導致其只能得到一個局部最優結果，而很難得到全面的評估結果。我們需要一個全面的，符合人眼視覺的評價指標。

解決方案：眼觀六路，耳聽八方

由於當前的評價指標都是考慮單個像素點的誤差，缺少全局信息的考量，從而導致評估不準確。為此，我們考慮將局部信息與全局信息結合進行度量。

圖4：(b)是原始圖像(a)的分割結果，Map1(c)和Map2(d)分別為兩個演算法分割的結果

我們先來看一個例子，從圖4中兩個分割演算法檢測的結果Map1和Map2中，我們判斷其結果與GT的相似度會考慮到全局的相似度，如整個鹿的身體部分。通過這一判斷，感知兩者的相似度差異較小。進而進行局部的細節判斷（見圖 5}）。我們發現與Map1相比，Map2分割結果包含了更多細節（腳），從而，如圖 6所示，我們會認為Map2的的分割結果優於Map1。

圖5：(b)是原始圖像(a)的分割結果，Map1(c)和Map2(d)分別為兩個演算法分割的結果

圖6：(b)是原始圖像(a)的分割結果，Map1(c)和Map2(d)分別為兩個演算法分割的結果

1、結合全局信息與局部信息

我們考慮將圖像級的統計信息納入考量範圍，選擇全局的像素均值μ作為圖像級的統計信息，因為全局均值能代表圖像全局的信息而且計算簡單。如圖7中(c)(d)所示，,分別為GT, FM 的均值。GT與FM中的每一像素值與其均值,之差作為結合全局信息的偏差矩陣

。

2、誤差估計

計算偏差矩陣(bias matrix),的誤差估計，我們可以得到GT, FM間的誤差估計，而因為偏差矩陣結合了全局信息與局部像素信息，所以其能很好地代表GT, FM間的誤差。

偏差矩陣為[0-1]之間的連續值，我們使用對齊矩陣(alignment matrix)ξ來評價偏差矩陣間的誤差：

圖片7：結合全局信息與局部信息。和分別為GT，FM的均值，

，

為結合全局信息與局部信息的偏差矩陣（bias matrix）

其中

為哈達瑪乘，分子

為評價誤差，而

將評估結果縮放到[-1,1]之間，其中-1表示完全相反，而1表示完全相同。即對於每個包含全局信息的局部值誤差，我們可以計算出一個[-1,1]之間的誤差估計。

3、非線性變換

我們需要一個[0,1]之間的評價指標，因此需要將[-1,1]的值域縮放到[0,1]之間。對於一個隨機分類器輸出的二分類結果，即隨機生成的FM，其與GT的誤差應該是均勻的，即其誤差應該均勻地分布在[-1.1] 之間，這樣我們可以直接使用線性的變換將其值域縮放到[0,1]（例如採用

）。

但是事實上，所有的分類器應該都要比隨機分類器要好得多，也就是說許多方法的輸出FM都是與GT相似而極少相反，即評價得分絕大部分集中於[0,1]之間而只有極少部分出現在[-1,0]，在此情況下繼續採用線性函數進行值域縮放就不再合適，因為這會導致絕大部分的結果集中到0.5以上的結果而導致缺乏區分度。其次，人眼評估的結果是評估FM與GT的相似度的，而非不相似度（或者負相似度），這也說明再使用線性縮放是不合適的。而簡單地將所有[-1,0]之間的值置為0（如神經網路中非常著名的relu激活函數）會丟失一些評估結果，因此不可取。

基於上述分析，我們提出非線性的變換函數:

該函數其實只是對上述函數的平方，同樣將[-1,1]縮放到[0,1]之間，但是公式3是非線性函數，其圖像如圖8，其將[-1,0]之間的值縮放到一個較小的範圍，而將[0,1]之間的值縮放到較大的範圍，從而避免了線性縮放帶來的諸多問題。

圖8：非線性變換函數，其將[-1,0]之間的值縮放到一個較小的範圍，而將[0,1]之間的值縮放到較大的範圍

4、綜合估計

我們將所有的誤差縮放到[0,1]之間，便得到符合範圍的誤差結果（4）：

E-measure定義為所有位置誤差結果的綜合：

元度量實驗證明有效性

為了證明指標的有效性和可靠性，研究人員採用元度量的方法來進行實驗。通過提出一系列合理的假設，然後驗證指標符合這些假設的程度就可以得到指標的性能。簡而言之，元度量就是一種評測指標的指標。實驗採用了5個元度量：

元度量1：應用排序

推動模型發展的一個重要原因就是應用需求，因此一個指標的排序結果應該和應用的排序結果具有高度的一致性。即，將一系列前景圖輸入到應用程序中，由應用程序得到其標準前景圖的排序結果，一個優秀的評價指標得到的評價結果應該與其應用程序標準前景圖的排序結果具有高度一致性。如下圖9所示。

圖9

元度量2：最新水平 vs.通用結果

一個指標的評價原則應該傾向於選擇那些採用最先進演算法得到的檢測結果而不是那些沒有考慮圖像內容的通用結果（例如中心高斯圖）。如下圖10所示。

圖10

元度量3：最新水平 vs.隨機結果

一個指標的評價原則應該傾向於選擇那些採用最先進演算法得到的檢測結果而不是那些沒有考慮圖像內容的隨機結果（例如高斯雜訊圖）。如圖2所示。

元度量4：人工排序

人作為高級靈長類動物，擅長捕捉對象的結構，因此前景圖檢測的評價指標的排序結果，應該和人的主觀排序具有高度一致性。我們通過從所有數據集中按比例，通過人隨機選擇符合人眼排序的前景圖組，組成人工排序數據集FMDatabase。如下圖11所示。

圖11

元度量5：參考GT隨機替換

原來指標認定為檢測結果較好的模型，在參考的Ground-truth替換為錯誤的Ground-truth時，分數應該降低。如圖12所示。

圖12

實驗結果

本文在5個具有不同特點的、具有挑戰性數據集上進行了廣泛的測試，以驗證指標的穩定性、魯棒性。

圖13

實驗結果表明：我們的指標分別在PASCAL, ECSSD, SOD 和HKU-IS數據集上具有更強的魯棒性和穩定性。同時在FMDatabase（MM4）上，我們的指標也具有最好的結果。

論文地址：

http://dpfan.net/e-measure/

新智元AI WORLD 2018大會【早鳥票】

開售！

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018 大會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

大會官網：

http://www.aiworld2018.com/

即日起到8月19日，新智元限量發售若干早鳥票，與全球AI領袖近距離交流，見證全球人工智慧產業跨越發展。

• 活動行購票鏈接：

  http://www.huodongxing.com/event/6449053775000

• 活動行購票二維碼：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！