論文摘要
由於用於構建卷積神經網路（CNNs）的各個模組具有較為固定的幾何結構，從而在根本上限制了 CNNs 演算法對幾何變換的建模。雷鋒網瞭解到，在《Deformable Convolutional Networks》這篇論文中，來自微軟亞洲研究院的研究員們提出了兩種全新的模組 Deformable convolution 和 Deformable RoI pooling 用於提升 CNNs 演算法對幾何變換的建模能力。
上圖展示了一個 3 x 3 大小的 Deformable convolution 結構
Deformable convolution 和 Deformable RoI pooling 兩種模組構建的思想分別是：
在提供了額外偏移的情況下增加模組中的空間採樣位置（見 Figure 2）；
在沒有額外監督的情況下從目標任務學習偏移（見 Figure 3）。
上圖展示了一個 3 x 3 大小的 Deformable RoI pooling 結構
值得一提的是，這兩個模組都可以輕而易舉地取代現有卷積神經網路（CNNs）中的相對應模組，並且也可以通過標準的反向傳播演算法進行端到端（End-to-End）的訓練從而產生可變形的卷積網路（Deformable convolutional networks）。
上圖中(a)展示了傳統卷積操作中兩層固定的感受野，而(b)展示可變形卷積操作中兩層可自我調整的感受野。(a)與(b)兩圖遵循相同的結構，自上而下分別是：1、最頂層的圖片中展示兩個啟動單元，它們分位於不同形狀與大小的物體中，而它們的輸入來自於一個3x3大小的濾波器；2、中間的圖片展示了兩個3x3大小的濾波器在前一個特徵圖（feature map）上的採樣位置，並且其中依然有兩個啟動單元被高亮出來；3、最底層的圖片中展示了在前一個特徵圖上兩個層級的3x3大小的濾波器的採樣位置，其中有兩組採樣位置被高亮出來，它們分別對應於上一層圖片中的高亮單元。
據雷鋒網瞭解，微軟亞洲研究院的研究員們已經通過大量的實驗驗證了該新方法對於物體檢測和語義分割這兩個複雜視覺任務具有有效性，並且相關的實驗代碼也將被公開出來。
via
Deformable Convolutional Networks
，雷鋒網編譯