機器之心報道
作者:魔王
最近,圖注意力網絡一作 Petar Veli kovi 在母校劍橋大學做了一場講座,介紹圖神經網絡的理論基礎。
圖神經網絡(GNN)是機器學習中最熱門的研究方向之一,在提出后的十幾年里被不斷擴展,先后發展出了圖卷積網絡、 圖注意力網絡、圖自編碼器、圖生成網絡和圖時空網絡等多個子領域。
最近,圖注意力網絡的第一作者 Petar Veli kovi 回到母校劍橋大學計算機實驗室做了一場主題為《圖神經網絡理論基礎》的講座。在演講中,Petar 嘗試從基本原理推導 GNN,介紹其在多個學科中的應用,并解釋 GNN 如何在多個研究路線中并行出現。
講座幻燈片地址:https://petar-v.com/talks/GNN-Wednesday.pdf
Petar 表示,這個演講「濃縮」了他 4 年 GNN 研究的精華,「這些年我用多種方式講授 GNN,現在我終于找到了最『自然』的講解方式。」他表示,這個 70 分鐘的講座既可以幫助初學者,也可以為 GNN 實踐者提供新的角度。
接下來,我們就來看 Petar 講了什么。
Petar Veli kovi :我找到了最「自然」的 GNN 講解方式
分子是圖,交通地圖是圖,社交網絡也是圖。
Petar 首先介紹了現實世界中的圖、圖神經網絡的實際應用,以及 GNN 的相關庫和數據集等。
緊接著他展示了該講座的主要內容:
基于基本原理推導 GNN;
介紹 GNN 的多個獨立研究變體;
回顧:類 GNN 模型在 ML 研究歷史中的出現;
當下:目前的一些研究方向;
展望:GNN 如何泛化至圖結構輸入以外。
Petar 表示,該講座的內容基于其關于幾何深度學習的研究、麥吉爾大學助理教授 William Hamilton 的著作《圖表示學習》,以及 Yoshua Bengio、Marco Gori、Jürgen Schmidhuber 等多位研究者的工作。
基于基本原理推導 GNN
Petar 首先從基本原理定義 GNN,然后介紹了對 GNN 處理圖數據有用的特性,并列舉了一些示例。
GNN 的過去、現在與未來
Petar 介紹了 GNN 的發展過程與研究藍圖,及其在多個研究領域中的并行出現。例如,自然語言處理與 GNN。