Facebook利用深度學習記憶網路訓練聊天機器人，與客戶自由對話 | ICLR 2017

雷鋒網AI科技評論按：ICLR 2017 將於4月24-26日在法國土倫舉行，雷鋒網AI科技評論的編輯們也在法國帶來一線報導。在這個深度學習會議舉辦之前，雷鋒網也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報導，敬請期待。

今天介紹的這篇論文由Facebook AI Research兩位大牛Antonie Bordes和 Jason Weston 2016 年發表於arXiv，並當選 ICLR 2017 oral paper。

論文展示了一種即可以做自由對話又可以與知識庫的API調用相結合的聊天機器人，針對目標導向的聊天機器人進行了研究。傳統面向目標的對話系統在應用時的需要做大量的特定領域的手工修正，每擴展到一個新領域也需要做對應的修改。而基於深度學習的目標導向聊天機器人掃除了這一障礙。

面向目標的聊天機器人定義了兩種不同的評價標準：每一次回復和針對每一個目標的一輪完整對話的正確率。該系統期望去理解使用者的需求並通過有限輪次的對話完成明確的目標，文中以餐館預訂為例，目標是通過對話的方式説明使用者預訂餐館。每個餐館的屬性包括：口味，地點，價格區間，桌子大小，位址，電話，使用者評分7個維度。整個訂餐任務被劃分為5個子任務：

圖1 基於端到端深度學習的目標導向聊天機器人服務示例

任務1. 使用者使用的給定的請求語句，向系統發起預定餐廳的請求，對話系統比對API調用所需的參數，通過提問題的方式向使用者請求缺失的欄位資訊。

任務2.獲取任務1中得到的欄位後，詢問使用者是否更改當前查詢資訊，給使用者1~4次修改需求的機會。

任務3. 根據使用者需求調用相應 API查詢知識庫中存儲的餐館資訊，並將候選結果按評分由高至低的順序，列舉給使用者，直到用戶接受為止。

任務4. 待用戶選定候選餐廳後，提供該餐廳的其他資訊服務，比如提供詳細電話、位址資訊。

任務5. 整合所有的對話，返回使用者在第三個任務中選擇的結果。

Facebook團隊把訂餐這個場景，人為得分為了5種不同難度等級的任務，從最簡單的能夠發出API Call，到能夠完成整段對話。這樣拆成5個步驟的對話系統，每個任務的目標都很明確，從而一定程度上避開了對話質難以評估的問題。

團隊還測試目前的模型能夠達到的性能以及未來的研究方向。文中所用資料並非全部為真實資料，Facebook團隊生成了一些類比的對話資料，5個任務用的都是類比對話，類比的方法是用43種語言模式生成使用者會話，用20種語言模式生成聊天機器人會話。也使用了DSTC(Dialog State Tracking Challenge)的訂餐資料，並將DSTC的資料轉換成為了系統所定義的格式。因此，大家並不能直接比較這篇文章和DSTC裡其他工作做性能比較。

該系統使用的深度學習網路結構是 端到端記憶網路結構(End-to-End Memory Networks)，為了適用目標導向的應用場景，作者對Memory Networks做了如下的擴展：

每一步對話中，當前的使用者語句和系統的回答都需要存入Memory裡面（這個Memory不是一般的Memory，而是Facebook 重量級項目Memory Networks的一個特殊設施）；

除此以外，系統還需要存放額外的資訊，包括Time Index和目前是誰（使用者還是系統）在說話，有一個注意力機制（Attention Mechanism）來Memory裡查找合適的資訊。

最後，輸出機制是在一大堆自然語言輸出和API 調用之間進行選擇。

其中Memory Network為了處理新出現的餐廳名等實體詞(OOV)導致缺失word embbeding或者不同電話號碼的embeddings不可區分問題, 作者對實體詞添加7種預定義的類型詞(type word)，取得不錯效果。

在餐廳預定模擬的語料上，為了驗證處理Out-of-Vocabulary等能力, 作者進一步把菜系和地點實體詞分成兩份，然後根據兩份實體詞把KB分成兩個，一個KB用於產生訓練集，測試集和驗證集，另一個KB只產生測試集(OOV test sets)。然後把對話任務分解成5個子任務，在這個模擬語料上訓練，用每一次回復和每一輪完整對話的正確率作為評價標準。為了驗證模型遷移到其他真實場景的能力，作者收集禮賓服務的語料資料。

文章中分別對基於記憶神經網路的方法、有監督的嵌入模型、基於檢索的方法以及基於規則的方法進行了實驗，實驗表明基於記憶神經網路的方法優於其他方法。Memory Networks在所有的任務上都有不錯的表現。由於模型定義得非常個性化，在適應性方面，記憶絡網結構相比其他模型有較大差距。

ICLR對這篇文章的的評語：

目前大多數對話系統都是基於自由聊天模型， 本文探討了目標導向的對話系統，類似訂餐館時的對話， 雖然該方法論適應場景少，但這不是本文的主要重點。本文的成果是作者提供了具有創意的對話評估標準和開放的資料集。會議評論者喜歡這篇論文，這篇論文在一個廣泛探索的話題上樹立了很好的口碑，並開闢了一個相當新穎的方向。

Via

Learning End-to-End GoalOriented Dialog