对们可以通过说，它策策略值来改变这个策略。的权重和阈值也是给调整权重和阈于一个给定的感知器来定的，代表一种决。因此，我

�表达更方便，一般用它的相反数来表关于阈值th达：�s）。里需要指出的一点是，被称为偏置（b;iad，这ld，这里的bob=-thresh为了

tput=1，出output=：如果w1x1+w2x2+w3x3否则输+...+b>出ou0，则输计算输出这样，前面的规则就修改为0。

，则b=3。=w2=-2而权重w1

;+;(−2;)1𜖐ᬐ=𜥼outp都是ou1=x2=1的时候，−1，小于0。=0，因为(−2)1而其它输入的情况下，很明显，只有当xut=1。

”！所以在实际情况下，这其实是一个“与非门

门部件中比较特殊的niversalit非门的与非门是所一个，它可以通过普适性(gateuy)。在计算机科学中，有何其它的门部件。这被称为与组合的方式表达任

门，那就能表达任意其它上它也既然感知器能够通过设置恰当的权重和偏置么理论数，来表达一个与非的门部件。参

前面三体中的例子一样器也能够像从系统。而组成一个计算机，通过彼此连接因此，感知

事情复杂化只不过是了而已。但这似乎没有这已经有现成的让什么值得惊喜的，我们计算机了，

将多个感知器能的决策，所以则是需要知器连接起来。事情很有限。要做复杂做的单个感

果手工一也完成不了了。而实际中的网络可能参数，恐怕这项任务永远会有上万个，甚至个一个地去配置这些数十万个参数，如

而神经网络最这里。于有特色的地方就在

学习过程中为所有参数到数据，让网络自己在我们不是为网络指定训练中去学。练所有参数，而是提供训最恰当的值习，在找

，这样的值的时候traini路是期望的大体的运转思练样本（ngexample，我们一这样：我络当输入是某个每们告诉网）。输出是什么份训练数据，称为训

知识的时候，举一个抽象的子：具体例学生某个这个过程相当于老师在教

经网络的训练中这在神表达那个抽象的知识。一般来说，我们样成立同。举的例子越多，就越能

我们可个训练样本藏在背后的，然后网络就自动从这抽象的结出那份隐以向网络灌入成千上万些样本中总知识。

这份知识的体现，权重和就在于网络的所有偏置参数的取值。

实际输出根据当前参数值。个值，当我们输入假设值计算出唯一的一各个参数有一个初始一个训练样本的时候，它会

望输出值尽量接近。的输出值不一样。想时候，我们可以试着调整某些这个值可能跟，让实际输出值和期我们期望象一下，这参数的值

就结束了。佳出值和这时每一次的实际输毕之后，网络参数也值，调整到了最接近，这样训练过程当所有限的训练样本输入完期望输出值已经无

理。正确）的反了，那么再给它输入据，它一的能够给出正确（或接近出我们预期训也应该有很大概率给练过程中，网络已经的原个它没见过的数应决策。这就是一个神经网络工作对数万个样本假设在

，当实际输出值和期望个问题，在训练过去调整各个参数呢？程中输出值产生差但这里还有一异的时候，要如何

出，这个方法行得考怎么做之先弄清楚：通通获得期望的输过调整参数的方式当然，在思前，也应该吗？

络来说，这个方法基本不可行。实际上，对于感知器网

，基本比如在上图有3完全持输，那么最终的输出9个参数的变某个参数的值入不变测。我们改感知器网络中，如果维不可预

从0变到1;（。或从1;变到它或者不个问题的关键在于：输0），当二进制的，然入和输出都是变也可能维持。这只能是0或者1

成一整个网络看把如果输入，有输出），续的。个函数（有那么这个函数不是连

gmoid神经元。上保持连续的神经出能够在实数因此，为了让训练成为于是，这就出现了si可能，我们需要一个网络。输入和输

用的基本结n)是现代神经网络经常使构）。它与感知器sigmoid神经唯一的结𛶿重要的区别。元(s构（当然不是的结构类似，但有两个igmoidneu

第一，而可以是任意0~1之间的实数。它的输入不再限制为0和1，

权求和再加上偏0和1，而是将各个�输入的加oid函数的计算作经过一个称为s。数，为输出第二，它的输出也不再限制为置参

z;)=1/(中：㰰(具体来(z)，其쏈�ፏ那么输3+...+b，w说，假设z=w1xᎳ1+e-z)。出output=㰰

输入，保持输出也一间。z)是~1之间的实数，这个是0在0~1之续输𗡔的函数。而且，它的个平滑、连出值可以直接作为下一层神经元的

我们对某个参数的值网络的输经元组变为入和输出都训练可以想成为逐步调整参数值的时候，它的输出也id神象，在采用sigmo只是产生微小的改变。这样就使得连续的了，也就可能。是说，当装神经网络之后，进行微小的改变的

也曾经提到过这个例nielsen的研究》这尝试，michael子。本书中人员曾经也做过nddeepltworksa书《neu在历史上，很多earningralne

owneura。而真正的深度神经于浅层的神经层隐藏层络(shall(deepn网rualnetwor，，e属则会有多层隐藏层。网络lnetworks)�这个神经网络只有一

右计方式进行设计和制神经元系统采用了左造。脑半球的设

表识别结果是0，1;u;t;最右侧则是输出层(oo;i;d㰰(z元节点，分别代p;u;t;l;，9。当然，受，有1;0;个神经s;i;g;m;a;y;e;r;))的限制，每个输出也之间的数。，2，...;函数肯定是0~1

哪个输出的值最大，最终的识别结果就是它。那我们在得到一组输出值之后，

间也是：正确的那个输出为0，字出的形式则和输出层之隐藏层是全输出为1，其它数而在训练的时候，输连接。

权重参数有784񸻯有15+10=1191ᒾ神经网络共的935个。参数个，总共10个，偏置10+25=11参数个数为：119򖊍

这可是一个非常惊人的数字。