神经网络(3)---如何表示hypothesis,如何表示我们的model

大脑中的神经元

我们的大脑都充满了上图所示的神经元,神经元有一个细胞体(cell body),还有一些input wires,专业词汇叫做树突(dendrite),它们从其它地方接收输入信息,神经元还有一个output wire,专业词汇叫做轴突(Axon),用来给其它的神经元发送信号。简单说来,神经元就是一个计算单元,它从input wires那儿接收输入,经过一些计算后,然后能过output wire(轴突)将输出传送给其它神经元。

大脑中的一系列神经元是如何交流的


神经元之间是通过小脉冲电流(spikes)来进行交流的,如果一个神经元想要发送信息,它发送的是小脉冲电流,通过轴突传送给与其连接的其它神经元的树突,这个神经元接收到信息后,经过计算,再通过自己的轴突,将信息传送给其它的神经元。

我们的知觉与肌肉也是这样工作的,如果你想要移动你的一块肌肉,你的神经元将电流传给你的肌肉,导致肌肉收缩。我们的眼睛也可以传递电流给我们大脑中的神经元的树突,这样引起人体的知觉。

Neuron Model: Logistic Unit(单个的神经元)

中间的红色的小圆圈可以看做the body of neuron,feed the neuron a few inputs通过input wires,然后the neuron做一些计算,然后输出值在output wire.做的计算是hΘ(x)=1/(1+e-ΘTx).

当我们画一个神经网络时,有时我们只画x1,x2,x3这三个结点,有时我们会另外增加一个x0的结点,这个x0结点有时称为the bias unit(neuron),因为x0=1,有时候我们会画上它,有时候不画,取决于对具体的问题来说哪个更方便。

在神经网络的另一个专业词汇是sigmoid(logistic) activation function:它是g(z)=1/(1+e-z).

Θ参数在神经网络中有时称为weights of a model = parameters of model.

神经元网络

神经网络是一系列的神经元紧紧结合在一起,在这个神经网络里面,第一层也称为input layer,最后一层也称为output layer,它是一个输出最后结果的神经元;中间的第二层称为the hidden layer,任何不是input layer和output layer的层都叫做hidden layer。

神经网络是如何计算的

我们用ai(j)表示activation of unit i in layer j。a1(2)表示the activation of the first unit in layer 2.activation是指它会接收输入然后进行输出。

Θ(j)为我们的参数,它为一个weights的矩阵,控制function mapping from layer j to layer j+1.

a1(2)的值,a2(2)的值,a3(2)的值计算如上图所示,这儿我们有3个input units和3个hidden units,Θ(1)的维度是3*4的矩阵。

一般来说,如果我们在第j层有sj个units,在j+1层有sj+1个units,则Θ(j)的维度是sj+1*(sj+1)

最后一个结点的计算如上图所示的hθ(x),Θ(2)表示参数矩阵,控制第2层到第三层的计算.

原文地址:https://www.cnblogs.com/yan2015/p/4994248.html