近日雷鋒網瞭解到，Facebook團隊與圭爾夫大學及里昂國立應用科學學院推出了新作，Fan Li 與Natalia Neverova, Christian Wolf, Graham Taylor等一起提出了一種創新的方法，提高了多模型下深度學習的效果。
Facebook原文連結：
https://research.fb.com/publications/modout-learning-multi-modal-architectures-by-stochastic-regularization/
論文連結：
http://www.uoguelph.ca/~gwtaylor/publications/modout.pdf
論文闡述了通過隨機正則化方法進行多模型架構學習新方法Modout，並介紹了已有的基於隨機正則化的模型選擇方法，通過論證和實驗資料，表現了Modout的優越性。
雷鋒網瞭解到，基於隨機正則化的模型選擇方法因其簡單性和有效性已經廣泛應用於深度學習中。其中非常有名的drop-out，以相同的方式處理每個單元，包括可見的、隱藏的，有一定幾率的讓一半的特徵檢測器停過工作，提高網路的泛化能力，也因此，忽略了與網路分組和結構相關的任何先驗資訊。這種結構存在於多模式學習的應用中，比如情感分析和手勢識別。在這些應用中，每一個子資料集都可能需要對應一個單獨的學習模式。
團隊向大家介紹一種新的方法，Modout。Modout是一種基於隨機正則化的模型選擇方法，它在多模型設定中特別有用。它與其他隨機正則化方式不同的地方在於，在同一層網路中，它可以有效的通過學習判斷是否要或什麼時候將兩種模式進行融合。而在一般情況下，這種機制通常都是深度學習的研究者們和實踐者們預先設置好的架構層面的高級參數。
在Li的論文中，Modout在兩種實際的多模型資料組中得到實現，而其實驗的結果可以看到Modout相對於其他隨機正則化方法的優越性。除此之外，Modout在Montalbano資料中表現出了與學者設計的最先進的深度學習架構比肩的實驗效果。
via Facebook，雷鋒網編譯