Neural Network Toolbox使用笔记1:数据拟合

http://blog.csdn.net/ljp1919/article/details/42556261

Neural Network Toolbox为各种复杂的非线性系统的建模提供多种函数和应用程序。该工具箱提供各种监督学习模型:前向反馈,径向基核函数和动态网络等模型。同时也提供自组织图和竞争层结构(competitive layers)的非监督学习模型。该工具箱具有设计、训练、可视化与仿真神经网络的功能。基于该工具箱可以进行数据拟合、模式识别、分类和时间序列预测及其动态系统的建模和控制。

可以利用Parallel Computing Toolbox调用多核处理器,GPUs和计算集群对大数据集在进行训练和处理阶段进行加速。

该工具箱包含在所安装文件Toolbox下面的nnet中。可以输入 在命令行模式下输入:

help nnet

可以看到所涉及的主题。

nnstart  神经网络启动GUI的命令

nctool 神经网络分类工具

nftool神经网络的拟合工具

nntraintool 神经网络的训练工具

第一:特点

1、监督网络包括:正反馈、径向基、LVQ、时延、非线性自回归(NARX)以及层递归的神经网络

2、非监督网络包括:自组织图与竞争层结构;

3、通过预处理和后处理提高网络训练与评估网络性能;

4、模块化网络用以管理和可视化任何大小的网络;

5、用于构建和评估神经网络的Simulink模块

第二:数据拟合、分类和模式识别

1、数据拟合

应用举例:房价均值估计

问题描述:通过创建神经网络以估计社区房价的均值,该社区采用以下13个属性进行描述

1)每城市的人均犯罪率

2)住宅用地的比例大于25000平方

3)每个城市的非零售商业用地比例

4)1表示Charles river的边界,0则表示其他的

5)氮氧化合物浓度(1000万分之1)

6)平均每个寓所的房间数量

7)业主单位是1940年以前的比例

8)距离波士顿就业中心的加权距离

9)径向高速公路的可访问性指数

10)每10,000美元全部价值财产税税率

11)城市中小学老师的比例

12)1000(Bk - 0.63)^2

13)地位较低的人口百分比

上述输入是与目标输出相关联的。

数据准备

输入矩阵X和目标输出矩阵T

X中每一列都是由上述13个特征属性所表征的数字所组成。该已知的13个数值表示当前已知的房价均值。T矩阵的每一列都会有一个元素,用以表示1000年后的房价均值

(the median house price in 1000's of dollars)

数据导入:

[x,t]=house_dataset;

可以看到X和T都是506列,表示的是506个社区的属性,即所谓的输入。这些输入与房价均值相关联,即目标。X有13行,即表示13个属性;目标矩阵T只有1行。

用神经网络进行数据拟合

神经网络是用随机权值进行初始化的,所以每次运行的结果会有稍微的不一样。可以通过设置随机化种子以避免这种随机性。但是我们在应用过程中是不需要setdemorandstream(491218382)的。

一般越是复杂的问题,所需要设置的神经元数量越多,神经元层数也越多。在此,我们在隐含层设置的是10个神经元。

net = fitnet(10);
view(net)

从下图可以看出,神经网络的输入和输出都是0,这是因为此时的神经网络尚未进行配置,以对输入数据和输出数据进行匹配。需要对其进行训练!

接下来需要做得就是训练:

数据集一共分成三种:训练数据集、验证数据集和测试数据集。用训练数据集对神经网络进行训练,用以拟合模型,即用这部分数据来建立模型。 验证数据集,刚才说training建了一个模型,但是模型的效果仅体现了训练数据,但不一定适合同类的其他数据,所以需要在建模前会将数据分成两部分,一部分为训练数据,一部分为验证数据(两部分数据的比例大致为7:3,这取决于所采用的验证方法);另外,有时候也可能训练多个模型,但不知哪个模型性能更佳,这时可以将验证数据输入不同模型进行比较。所以,训练过程是需要不断进行的,直到验证数据集的性能不再有所提升。 test是测试数据,它跟前两者的最大区别在于:training和validation数据均是同一时期的数据,如都是5-7月数据,但既然是测试,就需要用跨期的数据来验证模型稳定性,此时,可采用8月单月数据或9月单月数据对建好的模型进行测试,看性能有没有下降或偏移。

采用NN Training Tool可以展现被训练的神经网络和用以训练的算法。此外,该工具也展示了训练的过程中的训练时态和训练终止的准则(该准则用绿色进行标注)。在该UI底部的可以绘制。在算法名称和绘制按钮的旁边都有其对应的链接,以补充对该算法或者绘制图像的说明。

可以点击"Performance" 按钮或者用语句plotperform(tr)来查看神经网络在训练过程性能的提升。该性能的测量是基于最小均方误差,以对数log为底进行显示。在训练过程中可以发现该曲线是迅速下降的。且需要注意,多次运行所需要的迭代次数是不一样的。图中绿色圈圈所指示的是验证数据集性能最好的地方。

测试神经网络

通过测量测试数据的最小均方误差,可以感知经过训练的神经网络对应真实数据所表现出来的性能。

testX = x(:,tr.testInd);
testT = t(:,tr.testInd);

testY = net(testX);

perf = mse(net,testT,testY)

此外,也可以通过绘制回归线来测量神经网络对应数据的拟合程度。下面基于所有样本绘制回归线:

y = net(x);

plotregression(t,y)

若神经网络已经训练好,可以对数据进行拟合,则在回归图上面线性输出的目标拟合曲线Fit应该横贯左下角和右上角。若是没有达到,则需要继续进行训练,或者采用更多神经元的神经网络进行训练。

第三种测量神经网络对于数据的拟合程度方法是误差分布图。误差分布图可以展示误差情况,一般多数误差是靠近0的,只有少数远离0。

参考文档

http://cn.mathworks.com/products/neural-network/

原文地址:https://www.cnblogs.com/zkwarrior/p/6244911.html