第640章

于确数。对这个神经网定这11935个参络的训练过程，就是要

1，而其对应的输括为：对于每它输出无限一个训练样本，训练的目标可以粗限接近于出无略概接近于0。

lnielsen给出根据michae达到95\%的正松的可以轻络结构为基础，在未经而核心代码只有74行过调优的情况下，确识别率。实验结果，以上述网！

;;&;;2;1;;%;的识别;&;#;3;0;;;&;#8;;;&;#;3;2;7;#;3;8;t;i;8;;;&;#;2򑐏򑔻;;&;#;13;5;;;&ᝄ3;8;3;2;4򐿃�;1;5;9;n;，matt;5;9;;;&;򐺗;9;;;5;6;;;2;;;&;#;2;7;4ᜯ;&;#;9;9;.;&;#;2;1;0;3;#;2;6;&;#;2;3;1;;;&;#;5hewzeiler，;8;9;;;&;;s;)之后，最终达#;5;9;򑟢f;e;r;;#;3;;;3;5;;;&;#�&;#;3;;;&;#;񖹯5;;;s;在;;;;&;#;5;7;;;&;#;2;12;5;4;5ᜯ9;6;8;;;&9;r;k#;3;5;;;&n;a;l;n;;7;8;2;;᜿;#;5;5;;;5;5;;;༓&;#;2;5;;;&;#;3;�򑜯;;&;1;;;&;#;񶩇;g，yannle;4;;;;2;2;9;0;;3;7;ᜯ򑟷#;3;;8;0;;;&;5;9;8;;;;5;6;;;&;到了5෧cun，和r;o;bᝁ9;;;&;#;5率，是由l;i;0;8;3;0;򑖟0;;;&zhan;;&;#;5;;;&;#;;;&;#;5;5;8;;;&;#;30;3;4;0;;;&;;2;1;5;4;5;;卷积网络(c;o0;3;3;9;;学习的思路和e;t;w;o&;#;5;;;&;#8;;;&;#;2;#;5;5;;;&򑟢在采用了深度0;4;;;.;7;n;v;2013年做出的。񞎏3;8;;;&;#;;&;#;5;6ᝅ;2;6;3;⮗&;#;5;9;;;;4;;;&;#;3;8;;#;3;8&;#;3;6;7;0;2;4;;;#;3;0ᕓ&;#;5;5;;;5;9;;;&;ᜯ2;9;5;7;5;;1;0sixin2g;u;;4;;;&;&򑔻;&;#;5;7;;񖹱#;3;5

当惊人的！它已经超越了真正人数据集里还有一些考虑到这个的数字，这个结果是相眼的识别了。类似如下这样难以辨认

就必须引入重和偏置参数的值，梯度下降算法(nt)。整权在这个过程中一步步调�dientdesce

的神经网络需要算法，来逐步调整参数中，过程在训练的。我们有一个实际可行的学习

够尽量接近输望unction)。我们需要找到一个出能表达𜖆式来对这种。这个表达式最终的目的，是让网被称为代而络的实际输出与期接近程度进行表征价函数(cos

。个输入。一个训练样本，即网络的输入x表示x代表784其实一个

际输出值和期望输出值的接近程度。越接输入为&;#;x;)表示当别代表10个输出了实;;的时候，期望，实际的输值；而&;的输出近，这个差值就越小。1;2;0;#;9;7;;;表示当输入为x;的⽬出值。y;们的差的平方，就表征(x)和a都分值（以数学上的向量来表示）。而它时候

5万个训练样本，有训练样本求平均除以n对所是多次训练，所以要值。的数量。假设有n是训练样本那么n就是5万。因为

也是固训练的时候，输情况下，这个定值，在哪呢？实际上，在a;和b;的函数。那么子本），不会变。在式权;是固定的（训练样�右边的w;和b;就可以看成是样看有，式子络中是把cost;);的表示法，#;1;2;0;;#;1;;呢？进行&所什么这数。�但a;是w和b的函1;9;c(w;，b;重w;和8;;;的函数。为ction看成是网入&;偏置&;#;9;认为输入不变的;里面。y;

，&;#;3#;4;0;&;#;༓;&;#;3;53;5;;;&;&;#;5;;;;&;#;3;5;;;&;#;59;;;&;#;4;w;，b)表征了;，b;);;;;&;#;5;99;;;，b;;;;&5;4;;;&;#;#ᝇ5想办法降򐿃;;&;#;3;8#;4;9;值和期望输出值的;#;5;4;函数，;8;;5;9;;;&;优化问题。;ᝇ;#;4低&;#;5;;#;5;9;;;9;;;&;#;#;3;8;;这就变成了一;;;&;，它是&;#;;5;7;;个求函数最小值的最&;#;的表达形式如何&;;;&;#;;;&;;5;9;򑎫;4;;;&;#;);的过程，而不管&;#;3;85;7;;;&;8;;;򑐏习的过程就是就越小。因;&;#&;#;3;5;;;;1;9;;;和b񽽱;&;#;4;9;;񖹯;;;，b;);的值&;#;3;5򂶓总结来说，c;(;;;&;#;4;的;5;5;;5;5;;;&;#;#;3;8;;;;&;#接近程度。越接近;&;#;4;99;;;&;#;网络的实际输出෧4;9;򑟢;;;;&;;4;0򑟷;#;5;此，学

以直接也非常的形非常困难。由于c(w，b)多，所式比较复杂，参数进行数学上的求解，

梯度下这一问题，计算机科学scent)。降家们提出了为了利用计算adient算法(gr𘜅机算法解决

这个算法本质上是在多方度的切线贡献的维空间中沿着各个维抵达最小值微小的一步，从而最终。出向，每次向下迈

以人们通由于多维空间。图像可以在三维空;，b)只有两个常会退到三维空间进在视觉上无法体现，所间里呈现行类比。当c;(w参数的时候，它的函数

维空间内也基本成停地滚动，最终就有理好像一个小球在山。这个解重新推广到就可能到达谷底谷的斜坡上向下不多立。

样本的数至过程很慢。量很大（上万，几十直接根更多），而由于训练万，甚据前面的c(w，b)进行计算，计算量会很大，导致学习

下降的一个近似。梯度hasticgradientt)算法，是对于、于是就出现了随机descen梯度下降(stoc

一过程。练集中随机选择这到把整个训用光。然后再不断重复习从剩下的训机选择一部分来计算c一部分来计算，直)，(w，b不再针对所有的训练是从训练集中随再练集在这个算法中，每次学下一次学习集，而

浅层神经网络有更多有多个度神经网络（具深上进行抽象。它有结构上的优势，能力从多个层次hiddenlayer）比

�究人员们不断尝试将随本不t)或梯度爆发(e学习过程异gradien，研�深度神经可用。的问八九十年代开始网络基常缓慢，深度神经从上个世纪了梯度消失(�机梯度下降算法应用于网络的训练，但却碰到vanishingradient)题，导致

始使用一些新的技术年开始，人们开来训练深：度网络，不断取从2006包括但不限于得了突破。这些技术然而，

nalnetwor采用卷积网络(conks)；volutio

�regution(drolarizat)；

；rectifiedliarunits𚸕

利用�获得更强的计算能力等。

的问题设计算法和编习的优点显全新的编程方练过程编程而易见：这是一程为要式，它不需要我们直接深度学种。，而是针对训解决

决问题。们可以用简单的算法就能自己学习到解，域胜过了传统方法练过程中决复杂的问题来解的正确方法，这使得我而且在很多领网络在训

法加据在这个过程发挥了更上简单的数据。单的算法远加上复杂的数据，可能重要的作用：简胜于复杂的算训练数而

要在调整这些原则，通参数上面花费常人们络往往包巨大的精力；原则含大这从哲学，量的参深度网上不符合数奥卡姆剃刀

需要大量的训练计算力和深度网络计算时间；

过拟合(over的问题始终困步练过程g)问题始终伴随着神经网络的训扰着人们，这容易让人障碍。种失控的恐惧，同时也对这项技术在一些重要fittin，学习过应用制造了慢们产生一场合的进一

acat的故事一个人工智能程序，通治世界的故事自我学习，最终逐渐统。，所讲的就是过而bet

种情况发生吗？这恐怕这不太可能。一还智能技那么，现在的人工概有两个重要因素：般人认为，大术的发展，会导致

第定的问题，限定在人们指定的方式一，现在我学习还是，只能学习解决特的人工智能，它的自仍然不是通用的智能。

于互联网betacat那练数据，系统现在对于人，训进行学习。像规整化的能的训人们为其输入也意味着，即使把人工工智连到的输入输出仍然智能程序需要上海量的非结构化数据网上，它也不能第二，样对练过程严格，这对于数据的格式要求很

工仅仅是对普通的人源这样真正的网络智能够做上两点要求它完全都能到。以智能，但是对起生命来说，然而这

完)本章(