穀歌語義理解框架SyntaxNet升級 開啟無數可能性
在 AI 語義理解領域，穀歌一直不遺餘力地進行研發投入。
對於普通用戶而言，2015 年發佈的基於深度神經網路的谷歌智慧郵件回復，2016 年上線的神經機器翻譯系統（GNMT），便源自于穀歌在該領域的研究成果。在消費級產品之外，穀歌還持續為 AI 開發者提供技術支援，不斷推出新的開源工具。
去年夏天，針對語句的語法結構分析，穀歌開源了 SyntaxNet 神經網路框架，以及與之搭配英語分析預訓練模型 Parsey McParseface。緊隨其後，穀歌發佈了針對其他 40 門語言的語法分析模型。並將它們命名為 Parsey's Cousins（即 “Parsey 的表兄妹們”）。對英語國家開發者而言，為英語之外的語言開發機器學習系統是一件相當不容易的事。現在，經過將近一年的努力，穀歌推出了 SyntaxNet 框架以及 Parsey 相關模型的升級版。
SyntaxNet 升級
就雷鋒網所知，這是 SyntaxNet 自誕生以來的最重大升級。這建立在穀歌對各語言的語義理解研究基礎之上。此次升級的核心是一項新技術：能對輸入語句的多層表示進行很好的學習。具體來講，它延伸了 TensorFlow，能對多層語言結構進行合成建模，還能夠在語句或檔處理過程中，動態地生成神經網路架構。
舉個例子，該升級使創建基於字母的模型（能學習把單獨字母組合成詞語），變得更加簡單。該模型還能夠學習到，不同詞語在共同組成部分（共用的字母）方面存在聯繫。在另一方面，Parsey 和 Parsey’s Cousins 通過詞語排序而運行。因此它們必須要對訓練中的詞語進行記憶，並依賴語境來決定“生詞”（此前未記憶過的詞語）的語法函數。
ParseySaurus
為了展示新版本 SyntaxNet 的強大之處，穀歌同時發佈了新的預訓練過的模型 ParseySaurus。ParseySaurus 模型，使用了上文提到的基於字母的輸入表示。因此，它極大提升了預測新詞語含義的能力。這是基於兩個方面來實現：詞彙的拼寫和在語境中的使用方式。雷鋒網瞭解到，ParseySaurus 的準確率遠遠超出 Parsey’s Cousins，錯誤率降低了 25%。由於語言的形態特性和其他屬性，新模型在俄語、土耳其語、匈牙利語上的效果尤其好——這些語言中，同一個詞彙有多種不同形態，其中許多形態從未在訓練階段出現過（即便是大型語料庫）。
競賽
你或許會對“基於字母的模型是不是語義識別的最佳選擇”感到好奇。或者，是否有其他更好的技術。穀歌表示，新版本的穀歌 SyntaxNet 提供了許多全新可能性，比如 beam search 和不同的訓練目標；但新 SyntaxNet 的能力不止於此。雷鋒網消息，穀歌與布拉格大學（Charles University）合作，將在今年的 CoNLL 大會上舉辦多語言分解競賽（multilingual parsing competition）。競賽目標是為 45 種語言，開發出在現實環境下有良好表現的語義分解系統。
via