Describable Visual Attributes for Face Verification and Image Search

Summary:
作者提出了一個利用attribute的classifier來作有關face verification的方法，並可以用這個方法拓展到face search等應用，其作法如下:
利用OKAO face detector可以將網路上取得的圖片作處理，可以將臉的角度、眼和嘴的角給抽取出來，之後再利用Amazon Mturk來作一個媒合指定labeling的工作，如此一來就可將每張圖的attribute給選定出來。
作者將臉部定義出10個region，包含1個全臉的區域及9個子區域，並在每個region中抽取中low level feature，而feature則是利用不同的pixel value types；不同的normalization方法；與不同的aggregation方式來湊出不同種類的feature。有了這些feature之後，作者使用了一個forward feature selection的方式，將每個不同的attribute classifier給train出來，使用的是RBF kernel的SVM，給定每個attribute 500個positive example和2000個negative example就可將所需的classifier給train好了。文中也呈現了其產生的數據，在73個attribute classifier中都有很好的正確率。
作者還提出了一個simile classifier的作法，是將一個人的10個區域給選出來之後，透過和上方所提的training方式相同選出最適合的8個區域與6種feature type，對於每個人共train出48個classifier。
有了以上這些資料之後，給定兩張input image，先經過face & fiducial detector，再經過一個affine alignment，之後再利用上述兩種classifier就可算出一連串的output，比對那些output就可以決定這兩張input image所指出的是不是同一個人了。
因為training的過程中所標記的其實是一個個attribute，每個attribute都是具有實際上的意義的，如亞洲人、高加索人、黑髮、金髮等等，故可以在image search上作為一個很好的輔助。再輸入一個query如:”dark-haired people with sunglass”就可以透過” dark-haired”和”sunglass”找出很符合要求的照片了，在此一架構下，搜尋的方式便很直覺的變成了我們平常要找東西時習慣用文字來描述的概念。

Comment:
這篇提出了一個很好的方法去做face verification和image search的工作。很重要的一個貢獻他不像LBP那樣每個特定的feature其實並不知道實際上有什麼意義，而在此的classifier所選定出來的feature代表的即是一個特定attribute，相較起來跟人類的想法較為接近。