多元线性回归（Multivariate Linear Regression）简单应用

警告：本文为小白入门学习笔记

数据集：

http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex3/ex3.html

由房屋的面积和bedroom个数影响房价的高低。

加载数据

x = load('ex3x.dat');
y = load('ex3y.dat');
m = length(y);
x = [ones(m, 1), x]; （之所以加上一列1，因为x1 = 1）；

看一下输入值，注意房间面积是卧室数量的1000倍左右。这种差异意味着预处理输入将显着提高梯度下降的效率。

在您的程序中，按标准偏差缩放两种类型的输入，并将其均值设置为零。

%数据处理，特征值缩放
sigma = std(x);%标准差
mu = mean(x); %平均数
x(:,2) = (x(:,2) - mu(2))./ sigma(2);
x(:,3) = (x(:,3) - mu(3))./ sigma(3);

假设函数任然是：

$egin{displaymath} h_{ heta}(x) = heta^Tx = sum_{i=0}^n heta_i x_i, onumber end{displaymath}$

梯度下降算法：

$egin{displaymath} heta_j := heta_j - alpha frac{1}{m} sum_{i=1}^m (h_{... ...{(i)}) x_j^{(i)} ;;;;;mbox{(for all $j$)} onumber par end{displaymath}$

用居矩阵的方式计算：

theta = theta - x'*(x*theta-y)/m*a;

这里theta是一个3*1的矩阵，x是50*2矩阵，y是50*1矩阵，a表示alpha，m表示矩阵列长；

最终MATLAB程序是：

function [jVal] = multiLinerCost(a)
x = load('ex3x.dat');
y = load('ex3y.dat');
m = length(y);
x = [ones(m, 1), x];
%数据处理，特征值缩放
sigma = std(x);%标准差
mu = mean(x); %平均数
x(:,2) = (x(:,2) - mu(2))./ sigma(2);
x(:,3) = (x(:,3) - mu(3))./ sigma(3);

theta = zeros(size(x(1,:)))'; %3*1
J = zeros(50,1);
for iter = 1:50
theta = theta - x'*(x*theta-y)/m*a;
jVal = sum((x*theta-y).^2)/(2*m);
J(iter) = jVal;
end

%绘图
plot(0:49,J(1:50),'-');
xlabel('Number of iterations')
ylabel('Cost J')
end

控制台：

multiLinerCost(0.07) %选取学习速率（learning rates ）为0.07；