对于 Graph ML 来说2021年是重要的一年——成千上万的论文、无数的会议和研讨会......说明这个领域是在蓬勃的发展。我将Graph ML 这一年的进展进行结构化的展示，并重点介绍 趋势和主要进步。
无论您是在研究细分的主题还是刚开始使用 Graph ML - 我们都希望这篇文章是一个很好的参考点。这个领域太大了如果我错过了一些重要的东西，请在评论中告诉我们！
Graph Transformers + Positional Features
GNN 在通常是稀疏的图上运行，而 Graph Transformers (GT) 在全连接图上运行，其中每个节点都连接到图中的每个其他节点。一方面，这带来了节点 N 数量的 O (N²) 复杂度。另一方面，GT 不会遭受过度平滑，这是长距离消息传递的常见问题。全连接图意味着我们有来自原始图的“真”边和从全连接变换中获得的“假”边。我们还需要一种方法来为节点注入一些位置特征，否则 GT 会落后于 GNN（如 Dwivedi 和 Bresson 的 2020 年论文所示）。
今年最引人注目的两个Graph Transformers模型可能是 SAN（Spectral Attention Nets）和 Graphormer。
Kreuzer、Beaini 等人的 SAN 使用了拉普拉斯算子的 top-k 特征值和特征向量，表明单独的谱特征（spectral features）可以区分被 1-WL 检验确定是否同构的图。SAN 将光谱特征与输入节点特征连接起来，在许多分子任务上优于稀疏 GNN。
完整文章