加州伯克利新演算法：打破AI黑箱 可按人類思維回溯推理 | 重大突破
在某些情況下，我們常常無法對自己的行為作出合理的解釋。例如一場說走就走的旅行，一次奮不顧身的愛情，事後人們常常無法相信當時的自己究竟為什麼會做出那樣的選擇。但這種情況畢竟是少數，大多數時候，我們都具有自我解釋和自我認知的能力，而這一點也是人類與機器人（或者說人工智慧）最大的區別之一。
一般我們所說的人工智慧，其實說到底就是由一段程式碼組成的複雜運算系統，這個系統能夠根據輸入資料得出一個運算結果，而這個結果的外在體現就是人工智慧。在通常情況下，我們只能看到輸入的資料和最終的運算結果，至於中間的運算過程究竟怎樣，則一概不知。
這會帶來兩方面的缺陷：一是當整個系統出現問題時，我們無法迅速準確地對問題進行定位並實施改進；二是當人工智慧得到一個近乎完美的運算結果時，我們無法回溯整個過程，並從中汲取經驗（雷鋒網注：也就是我們常說的“AI決策黑箱”）。
現在有一個正在迅速成長的研究領域，正在試圖改變這一現狀。
拿圖像識別的場景來說。通常的做法是：我們會將一系列的圖像資料輸入系統，然後系統會以既定的模式識別出圖像中的物體，並予以標記。在現實場景中，每張圖片包含的資訊都非常複雜，這使得一旦出現標記錯誤，我們將很難回溯整個標記流程，從而也很難定位並解決問題。
日前來自加州伯克利大學和Max Planck資訊研究所的科學家們發明了一種全新的圖像識別演算法，可以解決這一難題。該演算法除了能夠按照一般的流程對圖像資訊進行識別並加以標記之外，還能對產生這一標記的原始資料進行記錄，並將這一原始資料“翻譯”成人類可以理解的語言備份下來，方便研究者們回溯和檢查。
根據團隊發表的論文，目前這一演算法還僅限於識別圖像裡的人物動作資訊（例如這個人是在打棒球還是騎自行車），而且需要基於兩種不同的資料集合的支持。第一個集合是關於圖像資訊本身的，包括圖像、圖像的初步描述、以及圖像的進一步說明。例如一個打棒球的照片，描述資訊可以是“圖中有一個棒球棍，以及一個人握著它”，說明資訊可以是“這個人正在握著棒子揮舞”。第二個集合是關於圖像資訊解釋的，其中包括三個圖像的相關問題，而且針對每個問題要給出10種可能的答案。例如問：“這個人是在打棒球麼？”一種回答可以是：“不是，因為圖中沒有棒球棍。”
正是基於上述兩種資料集合的支持，當某個利用了這種演算法的神經網路系統被問到為什麼將圖片描述為“打棒球”時，它就可以追溯到最原始的定位資訊，並將之描述出來：例如它檢測到圖中出現了一個棒球棍，以及一個人在握著這根棒球棍揮舞，因此得出結論這是一個打棒球的照片。研究者們稱之為“標記並解釋”系統，因為它不但能描述一張圖片的內容，還能指出為什麼得出了這樣的結論。
微軟首席研究員Kate Crawford在評論中指出：工程師們已經開發出了能夠自動識別不同種類的貓、狗或者其他內容的深度學習系統。雖然這些系統的表現隨著研究的深入正在變得越來越好，但人們始終無法搞清楚背後的邏輯，即為什麼系統會得到這個結論。
Kate Crawford的觀點觸及了機器學習領域的一個核心問題：
當一個演算法進行自我學習時，它只能根據研究者輸入的資料（可以是文本，也可以是圖像或者視頻等），提取出關鍵的資訊，並將這些資訊按照只有機器自己才能理解的方式加以歸類和整理，這一過程完全不需要人類的直接參與，人類也無法加以觀察和控制。
波士頓大學電腦學科的教授Kate Saenko表示：實際上並沒有人能夠設計一個深度神經網路。人們只是設計了這個系統的演算法，並提供了相應的資料集合，剩下的都由系統自主完成。
所以，這就是來自加州伯克利大學和Max Planck資訊研究所這一最新演算法的重要意義：
它能將機器內部的邏輯鏈條翻譯出來展示給人類，而不是簡單的僅僅給出一個結論。
歐洲電腦視覺聯會的主席，Facebook訪問學者Devi Parikh表示：這一演算法的難點不在於解釋一個結論本身，而是如何以人類能理解的方式表述出來。因為如果你看到過機器內部的運算流程，就會發現其中所有的參數和中間變數都是以數位的形式出現的，有些數字甚至長達數百上千位。因此，從內部的運算邏輯中找到一個結論的源頭資料或許並不困難，真正困難的是如何將這一長串數位翻譯成人類能夠理解的語言。
雖然目前來看，來自加州伯克利大學和Max Planck資訊研究所的這一最新研究成果還非常具有局限性（例如只能識別人類的動作）。但更重要的是，它為我們指明了一種未來可能出現的現實場景：不但能夠從機器那裡得到一件事情的具體決策，還能像跟朋友聊天一樣詢問它得到這一結論的原因。未來，隨著我們賦予機器越來越關鍵資訊的決策能力（例如自動駕駛），這種能夠自我解釋的機制也將變得越來越重要。
當然，如果像此前的報導那樣，機器有一天也終於學會了騙人，那就是另一個故事了。
來源：
Quartz
本文作者：恒亮
@雷鋒網
本文責編：岑峰
@雷鋒網