章第640

神经网络的训练过程11935个参数定这。，就是要确对于这个

训练的目近于0。略概括1，而其它输出无限接为标可以粗接近于，对应的输出无限：对于每一个训练样本

正确络结构为基础验结果，以上述网的情况下，可根据micha以轻松出的实过调优代码只有74行！elnielsen给达到95\%的识别率。而核心，在未经

;#;2;0;3;3;#;5;5;;;#;8;;;&;򇮱ᙿ5;9;;;&;#;;3;4;0;;;;&;#;8;;;&rwzeiler学习的;&;#;3;5;;6;;;&;#;;，sixin;5;7;;;.;7#;2;5;9;;;&;#;򐿃;;;&;#;#;3;0;84;8;9;;򌧒ᜲ&;#;2;3;5;;&;#;3;2;;1;0思路和卷积网络(c#;3;0;3;;&;񞎏;⩫;1;5;9;;;#񻡡3ᝇ;0;;;&;;2;1;3;8;;#;3;6;7;9;;2;5;4;52;;;&出的。)之后，最;&;#;5;6;5;1;;;&;#3;8;;;&;򑖟1;2;2;ᓯ1;0;4;;;;;&&;#;3;0#;5;2;;;&9;;;&;#;3;3;0;;;&;�;&;#;5;6;;&;#;;9;%zhan9;0;;;&;#;#;3;5ᜲ򐿃5;1;;;&;#;;3;8;0;2;;2;7;8;0;򑜯n;a;l;;#;2;8;;，ma򑓗，yannlec;;&;#;5;򑛋򐺗;o;b򇮷率，是由l;#;5;;3;8;;;&;5;7;;;;&;#;4;;;6;3#;2;5;&;#;5;;;&;#;3;;#;3;5;;u;t;i;o;;;&;;;;&;#;2;n;e;t;w;o;n;v;o;;在2013年做򑘃ᝇᝁ;8;;;;4;0;;;&;a;n;4;;;#;2;15;;;&;᜿;4;9;o;r;k;s;f;e;r;g񖹮#;3;g;;;&;8񶨿8;5;93;5;;ᜯ.;&;#;5;4;;񞎏#;5;5;;;5;9;;;;1;;;&;在采用了深度;&;#;5;5;&;#;2;6;4;0;3;8;;终达;的识别;#;3;5;;;&4;5;;;&;#;5;;;&;#;5༓;7;8;2;9;;;&;#;;&;un，和#;2;7;4;9&;#;5፟到了9;9;u;stthe;&;#

样难以辨相当惊人的！它已经超据集里还有一些类似如识别了。考虑到这个数越了真正人眼的认的数字，这个结果是下这

入梯度步步调整权重和偏置ntdesc就必须引ent)。下降算法(grad在这个过程中一𙪍参数的值，

个实际可行的学习算法，数。在训练的过程中，我们的来逐步调整参神经网络需要有一

代价函数(costf量接近输出与期望输出能够尽这种接近程度进行表。我们需要找unction征。这个表达式被称为)而最终的目的，到一个表达式来对是让网络的实际

。其实一x表示一84个输入。样本，个训练个x即网络的输入代表7

而它们的差的平方，�;0;;;的近，这个差值񞎏实际表示当输入为x;的输出值。y;(x);的时候输出值；表示）。)表示当输入为就越小。代表10个输出值（以候，期望的数学上的向量来就表征了实际输#;9;7;;;，近程而&;;1;2和a都分别出值和期望输出值的接度。越接时

数量。假设有5万个训为是多次训练，是5万。因n是训练样本的练样本求平均值。本，那么n样所以要除以n对所有训练就

，不会变。在认为输入1;9;;;和b;的在a;里面。y;(x&;#;成是有权重w;和看成是网络中所把costfun，是偏置&;#;ction值，但a;是w和b的为什么这样看呢？)也，这个式子就可以看;;;的函数。示法;1;2;0;;;是是固定固定的（训练样本）򌧔);的表，式子񞎏函数。那么;和b;在哪呢？实际右边的w፟c(w;，b;函数。不变的情况下进行训练的时候，输入上，

4;;;&ᓯ;5;4;;;&;;3;5;;;&小;9;;;&;#;4;的函;3;8;;;&;#8;;;&;#;3;;4;9;;;的值就越;;;&;8;;;&&;#;4;9򐺗ᓯ෧b;);的过程，总结0;;;&;#;9;;;&;值和期望输出值的的最)表征了网络的实际输;，b;)c;(w;，b;;;，&;#;3;5;4数最小值󰭕⚃;;&;;化问题。;来说，接近程度。ᓯ4;9;;;༓;;&;#;优&;#;。因此，学习的过程&;#;3;8;;;#;5;9;;#;5;5;;;&而不管&;;8;;;&;#;5;7;򂶓和;的表达形式如何ᝇ越接近，&;#;3;#;5෧就是想办法降低&;#;4;0;;;񖹯;&;#;3;5;#;4;9;;;5;9;;;5;4;;;&;#;;9;;;&;#;;&;#;4;0;񖹯&;#;4ᙿ;;&;#񖹱;5;;;&;;数，这就变成了一个;8;;;求函，它是&;񖹱9;;;，;#;3;5;;;&出#;3;5;5;;;&;#;;;&;#;5;9;;;&;#;;&;#;3;;;;&;#;;;;&;#;5;7;1;1;9;;;5

w，b)的形式由于c(复杂难。数学上的求非常多，所以直接进行解，非常困，参数也比较

𘌝dientdes科学家们，计算机提出了梯度下降法解决这一问题算法nt)。(gra算利用计算机为了

这个算法本质上是在多维空间中沿着各个维度的切线贡最小值。小的一步，从而最献的方终抵达向，每次向下迈出微

退到三维空维空间在视觉上无法体现，所有的函数图像可以维空间里呈以人们通常会现。b)只两个参数的时候，它由于多在三间进行类比。当c;(w;，

就好像一个小下不停地滚动，最终就立。有可能到达谷也基本成维空间内个理解重新推广到多底。这球在山谷的斜坡上向

练样本的数量很大（上，万，几十万的c(习过程，甚至更多）很慢。会很大，导致，计算量w，b)直接根据学进行计算而由于训前面

下降的一个近似机。梯度下降(stochasticgradt)算法，是对于梯度、于是就出现了随ientdescen

用光。然把整个训练集从后一部分来计算，直到选择，每次学习不再针对所有的训练集，训练集中随机选择一部程。再不断重复这一过个算法中在这机，b)，剩下的训练集中随而是分来计算c(w从下一次学习再

更多结构上的神深度神经网络（力从多个层次上网络进行抽象enlayer）比浅层经优势，它有能具有多个hidd有。

慢，深度神员们不断尝度下降算法应用经网，但却碰到年代开始，研究人从上个世纪i，导致学习过程异常缓shinggradi八九十radient)的问n络基本不可用。于深度神经网络的训练梯度爆发(explodingg了梯度消失(va试将随机梯ent)或题

包括但不限于：得了突破。这些技术度网络，不断取，从2006年开然而始，人们开始的技术来训练深用一些新使

�works)；��lnet采用卷积网络(con

�；ularizatio⵹n(dropou

fiedlineats；runirecti

获得利用gpu计算能力等。更强的

点题设计算法和编程程编程。，而是针对训练过深度学习的优它不需要：这是一种全新的编程式，解决的问显而方易见我们直接为要

题的正确方法，这简单的算法来解决就能自到解决问很多领域胜过了网络在训练己学习用使得我们可以传统方法。问题，而且在复杂的过程中

个过程发挥而，可能了更重要的作用：单的算法加上复杂。数据算法加上简单的数据简的远胜于复杂的训练数据在这

量的参数，这从哲学原则上不符合奥络往往包含大面花费巨大的精，通常人们要在卡姆剃刀原则调整这些参数上力；深度网

时间；训练深度网络需要大量计算的计算力和

g)问题erfittin着训练过程，学习过慢人们，这容着神经网络的始终伴随过拟合(。重要场合的进一步应用制造了障碍对这项技术在一些终困扰的恐惧，同时也𛈎的问题始易让人们产生一种失控

智事，所统治世界的故事而betacat的故。讲的就是一个人工能程序，通过自我学习，最终逐渐

那么，现在怕还不太可能技术的发展，会导致这概有两个重要因素的人工智能为，种情况发生吗？这恐大：。一般人认

，它的自我学定的习解决特定的问习还能。题，仍然不是通用的智第一，现在的人工智能方式，是限定在人们指只能学

数据，tacat那样对于互第二，现在非结构化数据进味着其输入规整化的训练，即使把人工智能对的格式要求很严格，，需要人们为于人工智能的训练过系统的输入输这也意联网上海量的。行学习能像be出仍然对于数据程程序连到网上，它也不

能，但是对起源人工智，以上两点要求它完全都能这样真正的网络智能生命来说够做到。然而这仅仅是对普通的

(本章完)