计算机是二进制数据只能表示有限大小和位数的数,而实数是无限的。以有限去逼近无限,这就是数值分析。
计算机是无法表示π这个数的,它只能无限的去逼近。
1 8 23代表1bit 8bit 23bit.
计算机存储的数值都是离散的,真实的解叫做解析解,计算机算出来的近似解叫做数值解。
在非凸优化的时候,鞍点位置处的梯度四面八方都是零,如果是随机梯度下降的话,它不知道该往哪里走。
凸优化指的是局部最优点就是全局最优点。非凸优化是指含有鞍点和局部最优点的情况下的优化。
要尽可能的避免陷入局部最优点和鞍点。