是给定的，代表一种决的权重和来改变这个策略。阈值也给定对于一个。因此，我们可以过调整权重和阈值策策的感知器来说，它略通

达：b=-thb被称为偏置方便，需要指出的一点是，这里的关一般用它的相反数来表（b;ias）。这里old，reshold为了表达更，于阈值thresh

�utput=0。则输出output=输出o这样，前如果w1x1+w2，否则规则就修改为：+...+b0，面计算输出的2+w3x3x1

而权重w1=w񻤡则b=3。2，

ut=1很明显，只有፟tput其它输入+;(−2;)1ᬐ=−1，小于𜖐0=0，因为(−2)。。的情况下，都是ou当x1=x2=而1的时候，ou

所以在实际情况下，这其实”！是一个“与非门

非门是所有门部件。这被称为与以通过组合的方式ty)。𚙉门在计算机科学中，与非门的普适性(ga中比较特殊的一个，它niversa�可部件表达任何其它的

既然感知器能够通就能表达任意其它的门部件。个与非门，那么理论上它也重和偏置参数，来表达当的权一过设置恰

知器也能够像前面三体子一样，通过彼此连接中的例统。系因此，感从而组成一个计算机

算机了，这只不过是让已经有现成的计而事情复杂化了但这似乎没有什么值得惊喜的，我们已。

所以则是需要将多。要个感知器连接起做复杂的决策，单有限个感知器能做的事情很来。

可能会不了了。任务永远也完成十万个参数，如果手而工一个一个实地去配置这些参数，恐怕这项际中的网络有上万个，甚至数

经网络最有特色的地方就在于这里。而神

有参数找到最恰当提供训练数据，让网是有参数，而我们不是为网络指定所的值。络自己在训练中去学习，在学习过程中为所

望的练数据，称为训练样样：我们告诉，这样的每一份ning本（候，我们期t输出是什么某example）。体的运转思路是这训个值的时�大网络当输入是

老师在教学生某个这个过程相当于时抽象的知识的候，：举一个具体例子

。一般来说在神经网络的那个抽象的知识。这能多，就越表达训练中同样成立，我们举的例子越

万个出那训练样本中总结。我们可以向网络灌入成然后份隐藏千上网络就自动从这些背后的抽象的知识样本，在

这份知识的网络置参数的取值。体现，就在于的所有权重和偏

假设各个参数有一个初参数值计算出唯们输入一个训练样本始值，当我的时候，它会根据当前一的一个实际输出值。

想象一下，这时候输出值不一样。出值尽量接近。的可以试着调整让实际输出值和期望输，我们某些参数的值，值可能跟我们期望这个

练过程就结束了。调整到了最佳值所有的训练，这时每一次的实际输完毕之后，网络参数也出值和期望输出值当已经无限接近，这样训样本输入

，那么个样假设在训本能够给出正确（或接练过这就是一个神经网络，它也应该没见过的数据再给它输入一个它工作的原理。近正确）的反应了出我们预期的决策。程中，网络已经对数万有很大概率给

出值和期望输出值产有一个问题，时候，要如何去调整各里个参数呢？但这练过程中，当实际输生差异的还在训

过调整参数的之前，也应该先弄清楚：通的输出，这个方法行得通吗？当然，在思考怎么做方式获得期望

方感知器网络来说，这个本不可行。实际上，对于法基

参数的感知器网络中，的输出基本完比如在上图改变某个参数的那么最终不变，我们值，如果维持输入有39个全不可预测。

它或者从0变到1;不变。这个问题入和输出都是二进（然也可能维持制能是0或者1。的关键在于：输的，只或从1;变到0），当

如果把整个有输出），那么这个函数不是连续的。网络看成一个函数（有输入，

为可能，我们需要一个igmoid神连续的神经网络。于是因此输入和输了s，为了让训练成经元。，这就出现出能够在实数上保持

⬡的结构类似，但要的区别。络经常用的是现代神经网不是唯一基本结构（当然d神经元(sigeuro使有两个重的结构）。它与感知器moidnsigmoi

的输入不再限制为的实数。0和第一，它1，而可以是任意0~1之间

d函是将数，经过一个称为sigmoi各个输入的加权为0和1，而求和再加上偏置参的输第二，它不再限制出也数的计算作为输出。

e-z)。w1x1具体来说，假设z=ut=㰰(z)，其中񢷏...+b，那么输出outp+w2x2+w3x3+：㰰(z;)=1/

持在0~1之这个输出值可以直接连续的函数。而且，它是0~1之间的实数，作为下一层神经元的输。间σ(z)是一个平滑、入，保的输出也

它的输出装神经网络之后的值进行练成为可能。改变。这样就使微小是说，当我们对某，网络的输入和想象，在采用sigm输出都变为连续的oid神经元组个参数了，也就的改变的时候，也只是产生微小的得逐步调整参数值的训可以

uralne�d曾经提到过这个例𛶾ing》这本书中也试，michael子。在历史上𚸕，很多研nielsen的书《tworkseeplea究人员曾经也做过尝

lowne而真正的深度神隐神经网这个络只有一层s)，神经网络(shrualnetworks)。藏层，属于浅层的则会有多层隐藏层。uralne𗭔经网络(deepnetwork

造。神经元系统采进行设计和制右脑半球的设计方式用了左

然，表识别结果0;个有1出每个输出也肯定是;函数㰰(z)的限受s;0~1之间的数。l;a;y;e层(代是0，1，2，...，9。当;t;p;u;t;;最右侧则是输�分别神经元节点，i;g;m;o;i;r;)，制，

结果就是后，哪个输出那我们在得到一它。组输出值之的值最大，最终的识别

输出的形式则也是0，隐藏层而在训练的时候，输是：正确的和输出层之间全连接。那个数字出为1，其它输出为

1415+1ᒾ=1910+2神经网络共的权重ᖴ总共参数ᓱ个，1935个。5+10=251񹂅参数有个数为：10个，偏置参数有1

非常惊人的数这是一个字。