2022年,图机器学习Graph ML发展到哪了?
发布网友
发布时间：2024-10-04 09:47
共1个回答
热心网友
时间：2024-11-23 11:05
首先，Graph Transformers与位置特征的结合成为了焦点。Graph Transformers（GT）在全连接图上运行，每个节点都连接到图中的每个其他节点，这带来了节点数N的O(N²)复杂度。然而，GT避免了过度平滑的问题，这是长距离消息传递的常见挑战。GT在分子任务评估中表现卓越，如SAN（Spectral Attention Nets）和Graphormer。Graphormer在大规模挑战和开放催化剂挑战的图回归任务中获得第一名，展示了其在大规模图处理方面的潜力。然而，可扩展性和计算开销仍然是开放性问题，特别是在处理大规模图时。
其次，等效性在GNN中的应用也引起了关注。Equivariant GNNs通过添加物理坐标作为额外的节点特征，使得模型在面对变换（如旋转、反射、平移）时能够保持一致性，这在分子任务中尤其具有破坏性。EGNN（Equivariant Graph Neural Network）通过在消息传递和更新步骤中加入物理坐标，显著提升了模型性能。
生成模型在分子领域的应用也展现出了巨大潜力。以生成流网络（GFlowNets）为例，它们能够主动学习不同候选者的采样，采样概率与奖励函数成正比。这在分子生成任务中展现出独特的优势。
在组合优化与算法领域，GNN与经典算法如动态规划（DP）的结合成为亮点。Xu等人在ICLR'21论文中探讨了这一主题，展示了GNN与DP算法的对齐，并提出了选择合适聚合函数的重要性，如对于Bellman-Ford算法，需要使用最小聚合器。此外，Cappart等人在IJCAI'21上进行了关于组合优化中GNN的全面调查，首次提出了神经算法推理蓝图，详细解释了神经网络如何在嵌入空间中模仿和授权离散算法的执行过程。
Subgraph GNNs的发展进一步扩展了GNN的能力。从首次尝试离开GNN表现力的1-WL-landia的一年，到2021年与超越1WL-landia的外星人建立联系，WL（Weisfeiler-Lehman）的研究最新成果备受关注。Christopher Morris、Yaron Lipman、Haggai Maron等人的调查深入探讨了WL在机器学习领域的发展。
在深度GNN的发展中，2021年带来了对100层甚至更多层GNN的训练，以及几乎恒定大小的邻域采样技术。Li等人提出了两种机制，将训练极深的超参数化网络时的GPU内存消耗从O(L)显著降低至O(1)，并展示了在CV或高效Transformer架构中使用多年及在层间共享权重的可行性。Godwin等人介绍了一种利用循环学习的深度GNN方法，通过消息传递步骤组织在块中，每个块可以有M个消息传递层，然后循环应用N个块，以构建深度GNN。此外，针对大规模图的采样子图方法成为解决大规模图处理问题的关键策略。
在知识图谱（KG）领域，表征学习突破了转导的天花板。Galkin等人提出的方法借鉴了NLP中的标记化算法，将每个节点表示为一组top-k最近的锚节点和m节点周围的唯一关系类型，显著提高了归纳链接预测数据集上的性能，并在大图上表现出高参数效率。
最后，2022年图机器学习领域展示了众多创新，涵盖了从新算法、模型到数据集、挑战和任务的多个方面。课程和书籍的更新，以及新的开源库的发布，进一步推动了这一领域的研究与应用。
