在讲完最小二乘（linear regression）和K近邻后，进入本节。
引入符号：
$Xin R^p$ X为维度为p的输入向量
$Yin R$ Y为输出，实数
$P(X,Y)$ 为两者的联合概率分布
$f(X)$ 为预测函数，给定X，输出Y
a.使用squared error loss(L2)作为损失函数
$L(Y,f(X))={(Y-f(X))}^2$
EPE（excepted prediction error）为
$EPE(f)=E({(Y-f(X))}^2) \ =int int {[y-f(x)]}^2 P(x,y) dxdy=int [int {[y-f(x)]}^2 P(y|x) dy]p(x)dx \ =E_XE_{Y|X}({[Y-f(X)]}^2|X)$
最小化EPE，在每个点上f(x)需要满足：
$f(x)={argmin}_c E_{Y|X}({[Y-c]}^2|X=x)\ ={argmin}_c int [y^2-2yc+c^2]P(y|X=x)dy={argmin}_c E_{Y|X}(Y^2)-2cE_{Y|X}(Y)+c^2$
对上式的c求导，置为0：
$c=E(Y|X=x)$
所以，当squared error loss时，给定X，最好的预测为条件均值
K近邻实际给出的是(1)对条件均值的点估计(2)X=x被模拟为在某近似区域
linear regression则假设这些条件均值能用线性函数近似
b.使用L1作为损失函数
$L(Y,f(X))={|Y-f(X)|}$
$f(x)={argmin}_c E_{Y|X}({|Y-c|}|X=x)\ ={argmin}_c int_{-infty}^c(y-c)P(y|X=x)dy+int_c^{infty}(c-y)P(y|X=x)dy\ ={argmin}_c int_{-infty}^c yP(y|X=x)dy-cint_{-infty}^c P(y|X=x)dy+cint_c^{infty}P(y|X=x)dy-int_c^{infty}yP(y|X=x)dy$
对c求导，置为0：
第一部分：$cP(y=c|X=x)$
第二部分：$-int_{-infty}^c P(y|X=x)dy-cP(y=c|X=x)$
第三部分：$int_{c}^{infty}P(y|X=x)dy-cP(y=c|X=x)$
第四部分：$cP(y=c|X=x)$
有$int_{c}^{infty}P(y|X=x)dy=int_{-infty}^c P(y|X=x)dy$
所以，当为L1作为损失函数时，给定X，最好的预测为条件中値