雷鋒網【AI科技評論】報導,法國當地時間4月25日,2017年國際學習表徵會議(ICLR 2017)繼續如火如荼地進行中,oral/conference/workshop等環節持續更新更多論文展示。而放眼望去,Google Brain、NYC的標誌異常顯眼。
通過論文的展示環節,我們看到了許多年輕的創新型人才,在奔赴深度學習的各個研究領域。而不可忽視的是,隱藏在這些論文背後的先驅大牛們,他們仍在以育人育樹的姿態為人工智慧研究貢獻力量。他們指導的論文,部分會成為大會的明星論文,也有值得一讀但被會議拒絕的作品,這些研究繼續在這個學術平等的平臺上接受挑戰。
論文研討現場
明星論文:潛藏的大牛
ICLR-2017 最佳論文《泛化——一個理解深度學習需要重新思考的問題》從發表之日起就引起了學界激起了熱烈的討論和廣泛的關注——根據 Twitter 上的討論,這篇論文的 ICLR 得分相當高,最後也當選成為本屆ICLR最佳論文,進入oral環節。
而這篇論文的聯合作者雖並非赫赫有名的大神們,但學術積累深厚也不容忽視,包括穀歌大腦的 Samy Bengio(是的,就是常說的大神YoshuaBengio的兄弟),和此前在穀歌大腦工作,現在是 DeepMind 研究員的 Oriol Vinyals,以及其他UC伯克利分校的電子工程和電腦科學以及統計系副教授Benjamin Recht等。
除此之外,在第一天的口頭展示演講中,由霍華德休斯醫學研究所、紐約大學神經學、數學、心理學系的教授,IEEE fellow Eero Simoncelli聯合創作的論文《端到端優化圖像壓縮》也獲得學界的青睞,大會評審中稱其為“接受的論文中最好的兩篇之一”,並獲得9 分的評級,在全部入選論文中排名 Top 15%。
而另一篇引起學界火熱的論文《生成對抗網路的創造性訓練方法》,其背後聯合署名的導師來歷同樣不同小覷——他是與Yoshua Bengio同為蒙特利爾大學,也是目前是僅存的幾個仍然全身心投入在學術界的深度學習教授之一 Leon Bottou。
一般而言,國內外人工智慧學術性會議的主題演講部分都傾向於邀請聲明在外的老學者,營造出非常濃烈的專家頂會效應,但這無疑是忽略了對創新力量的發掘和培育。而與此不同,ICLR設置的keynotes中每天只有兩場嘉賓邀請的invited talk,其餘大部分為由年輕創新研究者主講的contributed talk,與此同時,包括以上明星論文,不細究一番,聽眾都很難知道這背後隱藏著什麼人。
眾所周知,ICLR創立的定位就在於打造一個開放、“基於論文溝通交流”的學術大會,從這裡走出了許多新生代的研究主力,為人工智慧研究的發展注入更強的動力。舉個例子,現任深鑒科技首席科學家韓松,他在2016年ICLR上獲得“最佳論文”並做contributed talk時,尚是一個博士研究生,今年才即將畢業。
大牛論文被拒
眾所周知,ICLR開創了開放公開的論文評審機制,創辦者、紐約大學教授Yann LeCun對雷鋒網【AI科技評論】表示,論文評審接受主要遵循三個原則:具有能夠發散研究思維的創新想法、有良好的結果、想法具有可實操性。
然而,據雷鋒網【AI科技評論】瞭解,在本屆論文評選過程中,也不乏大牛因種種原因而論文被拒的情況,包括Yann LeCun、Yoshua Bengio教授等在內的論文。比如,Yann LeCun教授的“Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond”,Yoshua Bengio的“A Neural Knowledge Language Model”、“Hierarchical Memory Networks”等等。
會場上資深研究人士表示,人工智慧有了數十年的發展,但革新最快的領域以深度學習為先,而在這個領域中的研究,並非資歷越老創新越快。該人士表示,對比往年,2017年的ICLR最大的特點是變化大、發展快,但同時新理論的實踐仍存在方法論有待突破和完善的地方,因此最擅長或者最快產生成果的還有可能是年輕創新力量。
因此從這個角度講,大會也產生了一定程度“大牛祛魅”的效應。面對論文評審的爭議,LeCun教授直言,“爭議是個好東西。”
更多也是論文海洋中的普通一員
當然,除了優秀論文和被拒絕兩個極端,在全場三天多達310篇論文的conference和workshop中,也隱匿著許多來自巨頭和大牛的論文。
據雷鋒網【AI科技評論】編輯現場瞭解,隨意放眼望去,就看到了來自Yoshua Benbio、Geoffrey Hinton、Yan Lecun以及GAN之父 Ian Goodfellow與Samy Bengio聯名的workshop或conference論文,與眾多論文一起,接受研究者的討論。