深度学习模型训练过程

机器学习中的两大类参数:

超参数:在模型训练之前需要设置的参数,而不是通过训练得到的参数数据。比如:学习率,深层神经网络隐藏层数。

模型参数:模型要学习的参数,比如:权重W和偏置b,其是在网络训练过程中自动学习和更新。

前向算法:从网络输入到网络最终输出的过程称为前向算法。

反向传播算法(BP):模型参数学习的方法,由Hinton等人提出。用来解决网络优化问题,通过调节输出层的结果和真实值之间的偏差来进行逐层调节参数。该学习过程是一个不断迭代的过程。

损失函数(LOSS):神经网络模型参数学习的目标函数。常见损失函数由交叉熵损失函数

 

无论是图级、边级、节点级任务,都可以在一个GNN模型中完成。

图级任务是预测整个图的属性;跟据图结构来分类,问题是我所对图的分类是强加的标签,但是会使他们有相同结构,能够区分开来,是没问题的。

  类比于图像:预测图像的标签;类比于文本:预测一个句子的情绪。

节点级任务是预测图中每个节点的身份及角色。

  类比于图像:图像分割,试图标记图像中每个像素的作用;类比文本,预测句子中每个单词的词类(如名词、动词、副词等)。

边级任务:用于图像场景理解,预测哪些节点共享一条边,边的值;希望发现实体之间的连接:假设全连接图,通过预测值来修剪边得到稀疏图。

使用图邻接矩阵来表示图的问题:

1.节点很大的图得到的是稀疏的邻接矩阵。

2.不能保证置换不变性,当节点的排列顺序改变时,图的邻接矩阵也改变,但他们却表示同一张图。

因此可以使用邻接表来表示:

不会记录不连通的边;节点、边可以是向量,用[n(nodes),n(nodesdim)]来表示图。

GNN

既然图的描述是置换不变的矩阵格式,我们将使用图神经网络(GNNs)来描述解决图预测任务。GNN是对保持图对称性(置换不变性)的图的所有属性(节点、边、全局上下文)的可优化变换。我们将使用Gilmer等人提出的消息传递神经网络框架,使用Battaglia等人介绍的图网架构原理图,构建gnn。gnn采用图进图出架构,这意味着这些模型类型接受一个图作为输入,将信息加载到它的节点、边和全局上下文中,并在不改变输入图的连通性的情况下逐步转换这些嵌入。

原文地址:https://www.cnblogs.com/zh-clara/p/15352464.html