这8个项目管理趋势你还不知道吧？

多种流形学习方法的蓝图：首先，将数据表示为图；其次，计算该图的低维嵌入；第三，将 ML 算法应用于这种低维表示。

这其中面临的一项挑战是图构建与 ML 算法的分离，有时需要精确的参数调整（例如邻域数或邻域半径），以确定如何构建图才能使下游任务正常运行。流形学习算法更严重的缺点或许是：数据很少表示为低维的原始形式。例如，在处理图像时，必须使用各种人工制定的特征提取技术作为预处理步骤。

图深度学习提供了一种现代方法，即用单个图神经网络代替上文提到的三个阶段。例如，在 DGCNN 或 DGM 中，图的构造和学习是同一架构的一部分：
 

流形学习算法在恢复「流形」方法上各不相同，但它们有一个共同的蓝图。

首先，创建一个数据表示，通过构造一个 k 近邻图来获取其局部结构。其次，计算数据的低维表示（嵌入），并试图保留原始数据的结构。这是大多数流形学习方法的区别所在。这种新的表示将原来的非欧几里德结构「展平」成一个更容易处理的欧几里德空间。第三，一旦计算出表示，就会对其应用机器学习算法（通常是聚类）。
 

虽然这个数据集中的手部图像是高维的（64x64 像素构成 4096 个维度），但它们本质上是低维的，可以用两个自由度来解释：手腕旋转和手指伸展。流形学习算法能够捕捉数据集的这种内在低维结构，并将其在欧几里德空间中进行表示。（图源 [9]）

再比如球面上的一点（即三维欧式空间上的点），可以用三元组来表示其坐标：
 

DGM 提供了一种基于输入数据构造图并在图上扩散特征的机制。（图源：[5]）

当应用于医学领域问题时，DGM 显示出优秀的结果，例如根据脑成像数据预测疾病。在这些任务中，研究者获取到多个患者的电子健康记录，包括人口统计学特征（如年龄、性别等）和大脑成像特征，并尝试预测患者是否患有神经系统疾病。之前的工作展示了 GNN 在这类任务中的应用，方法是在一个根据人口统计学特征手工构建的「病人图」上进行特征扩散。而 DGM 提供了学习图的优势，可以传达某些特征在特定诊断任务中是如何相互依赖的。其次，DGM 在点云分类任务中也击败了 DGCNN，不过优势很小。

流形学习

DGCNN 和 DGM 在概念上与流形学习或非线性降维算法相似，流形学习很早就已出现并流行，且目前仍用于数据可视化。流形学习方法的基本假设是数据具有内在的低维结构。虽然数据可以在数百甚至数千维的空间中表示，但它却只有几个自由度，示例如下：
 

DGCNN 动态构造一个用于特征扩散的 k 近邻图。图依赖于任务，并在每个层之后更新。这幅图（摘自 [4]）展示了与红点的距离（黄色代表更近的点），表明在分割任务中，更深层次的图捕捉语义关系而不是几何关系，如成对的机翼、发动机等。

DGM

DGCNN 的一个局限性是用相同的空间来构造图和图上的特征。Anees Kazi 和 Luca Cosmo 提出了一种新的架构——可微图模块（DGM），通过对图和特征构造进行解耦来扩展 DGCNN，如下图所示：
 

图神经网络利用关系归纳偏置来处理以图形式出现的数据。然而，在许多情况下，并没有现成的图。那么图深度学习适用于这类情形吗？本文将介绍潜图学习（latent graph learning）和更早的流形学习（manifold learning）。

潜图学习

在过去的几年里，人们对使用机器学习方法处理图结构数据产生了浓厚的兴趣。这类数据自然也出现在许多应用中，例如社会科学（如 Twitter 或 Facebook 上的用户 Follow 图）、化学（分子可被建模为键连接的原子图）或生物学（不同生物分子之间的相互作用通常被建模为相互作用组图）。图神经网络（GNN）是一种特别流行的图学习方法，该算法通过在相邻节点之间交换信息的共享参数进行局部操作。

然而，在某些情况下，没有现成的图可以作为输入。在生物学中尤其如此，诸如蛋白质 - 蛋白质相互作用的图只有部分已知，因为发现蛋白质相互作用的实验费用昂贵，而且噪声很大。因此，研究者从数据中推断出图并在其上应用 GNN，并将其称为「潜图学习」。潜图学习特定于应用，并针对下游任务进行了优化。此外，有时这样的图可能比任务本身更重要，因为它可以传达关于数据的重要洞察，并提供解释结果的方法。

潜图学习是学习具有空边集的图。在这一设置中，输入为高维特征空间中的点云。在集合上进行深度学习的方法（如 PointNet）对每个点应用共享可学习 point-wise 函数，与之不同，潜图学习还寻求跨点信息传递。

DGCNN

点云动态图卷积神经网络（DGCNN）是第一个这样的架构，该架构由麻省理工学院的 Yue Wang 开发。受计算机图形学中涉及 3D 点云分析问题的启发，该架构将图用作点云下局部光滑流形结构的粗略表示。Yue 的一个重要发现是，图在整个神经网络中不需要保持不变，事实上，它可以而且应该动态更新——因此该方法被命名为 DGCNN。

（编辑：鞍山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!