第641章

5个参数。定这1193程，就是要对网络的训练过于这个神经确

练样本，对应的输出无限接输出无限接近于0。训练的目标可以粗略概近于1，而其它：对于每一个训括为

上述网络结率。而核心代码只有7根据mi4行！aelnielsen调优的情况下，可以轻松达到9构为基础，在未经过正确识别5\%的给出的实验结果，以𘌠

;;;;&;#8;2;;;&򐺗t;w;o;w;a;n;，ma#;3;2;4;;&;#;3;8;0;4;;;&;᜿5;;;&;#;ᝇannlecun，;;;&;#;;&;#;2;9;6;෧0#;3;8;5&;#;;;;.;7;ler，sixiᝄ;;&;#;񽽬;&;#;2;0;;9;;;&#;3;5ᝇ&;#;5;2;፟;thewzei;ᝇ2;1;3;;;&;򂶕.;&;#;5;5;6;;;&;#;5;5򑑳;;;&;;#;5;;;;&;;1;;;;;&;#;3;8ᝇa;l;n;e;&;#;33;#;1;2෧5;4;;;&;;5;1;ᝇ;#;5񻡣;;;&;#;5;7;3;67;5;;;&;#;3;8;;;#;5;76;;;&;#;5t在采用了深度学习的思3;5;4;5;;񖹱4;0;;;&;5;;;&;#;;&;#;3;5;;&;#卷积网络;Ꮓ#;5;5;;;&;1;0;3;5;;4;;;&;#;5򐿃;;;&;#;;&;#;3;0&;#;3ᜲ9;%;的识;5;9;;;&;;#;3;5;;;&9;;;&;8;9;;;&;#;2;6;ᒋ#;5;5别率，是由l;i;e;r;g;u;013年做出的。3;8;�38;0;;4;0򊋇;;;&;򑙧򑟷9;8;;0;2;4;;;4;9;1;ᓯ9;0;;;&;#;3;&;#;5;9;;;&;#;3;5;᜾r;k;s;)之后;3;4;0;;s;在2#;2;9;5;;򂶑򑙧;o;n&;#;2;1;0;򑜯;2;5;ᝁ#;2;6;19;0;;;&;෧;8;3;0;9;8;;;&;#和r;o;b;f;5;6򑓗&;#;;路和9;;;&5;3;8;;;&;;;;&;#;n;v;ᜲ&;#;2;;#;2;5;;&;#，最终达到了9;9;#;3;3;6;8;;;&ᝇ;#;2;1;4;;7;8;2;(c;o;;u;t;inzhang，y3;7;;

的！它已经超越数据集里还有一些以辨认的数字，这个识别了。类似考虑到这个结果是相当惊人的了真正人眼如下这样难

gradiencent)。参数的值，就必须引和偏置这个过程中一步步调在整权重入梯度下降算法(tdes

算整参数调要有一个实际可行在训练的的学习。，我们的法，来逐步神经网络需过程中

式来对这种ostfu让网络的实际输表征。这个表达式输出能够尽量接近。我被称为代价出与期望tc函数(们需要找到一个表达i接近程度进行而最终的目的)𛈆⭛，是

个训练样本，其实一即网络的输入。个x表示一x代表784个输入。

个差值就越)和a都分别代表10个输值；而&;#;的时候，实际的输出值它们的而就表征了实际输出值向量来表示）。1x的接近程度。越接近，差的平方，的输出当输入为x;;;表示&;#;9;7;y(x;这出值（以数学上的输出值。y;(;的时候，期望)表示当输入为小。和期望;2;0;;

训练样本，那么n就是训练有样本求平均值。假设有5万个本的数量。多次训练，所以要除n是训练样5万。因为是以n对所

？实际上，在a;里面。y函数。，这个式子就可成是网络中所有权重wction看;;#;1;为什么这样看呢c(w;，b;);;;的函数。2;0;;#;9;8;;(x)也是固以看成是&;#;1的时候，输入&的表示法，是边的w;和b;在᜽。那么，式子右认为输入不变的;样本），不会变。在情况下定值，但a定的;是w和b的哪呢b;的函数9;;;和;;是固把costfun和偏置&（训练行训练？进

;5;;;&;#);的;򑟢望输出值的#;5;4;;;&&;#;5;7;&;#;5;9;;;&;#;ᝇ;;;&;#;;;&;򑟢5;;;&;#;4෧;3;5;;;&;#;&;#;网络的实际输出值和期;9;;;&;&;#;，&;#;3;8;是&;#;3;9;;;，b;#;3;8;5;4;;;&;򐿃򂶕;9;;;&;#;4;;，b;9;;;ᜯ&;#;3;8;;;9;;;和b;的函数5;9;;;3;5;;#;3;8;;#;5;5;;ᜯ;&;#;4;9;;降低&;#;3;8;ᝇ;&;#;5;9了一个求函数最小值的;&;#;4;9;;;፟򑟢ᝅ;3;5变成最优化问题。;񖹭就越小。因0;;;7;;;&;#;5;;&;#;4#;5;此，学习的过程就是想了何，它;&;#;5;3;5;;;&;;&;#;4;;;;&;#;4;过程，而不;;;&;#;5;，这就ᝇ༓ᝇ;;;，b;);的值񽽴ᝁ;);的表达形式如;&;#9(w;，b)表征򑟢办法򂶐ᝇ򑙧管&;;接近程度。越接近;;&;#;4;0;总结来说，c;#;5;5#;4;0;;#;3;5;

参数)的形以直接的求解，非常困难由于c(w，b复杂，。也非常多，所进行数学上式比较

法(grad为了利用计算机算scent)ientde机科学家。法解决这一问题，计算们提出了梯度下降算

达最小值。次向下迈出微间中沿着各个维度每，从而最终抵小的一步是这个算法本质上在多维空的切线贡献的方向，

的时空间在视参数空间进行类比。当c;以在三由图像可觉上无法个于多维维空间里呈现。会退到三维体现，所以人们通常候，它的函数(w;，b)只有两

小球在山谷的滚动，最终就有可能就好像一个间内也基本成立。达谷底。这个理解重新推广到多维空斜坡上向下不停地到

训练样本的致学习过程很慢。接根据前面而由于的c(w，b)进行计量很大（上算，计算量会很大，多），直数万，几十万，甚至更导

对于梯度下降的一个近似。了随机算ent)radientde梯度下降(s法，是ⵏtochasticg、于是就出现

集用光。然后再集集，而是从训分来计从剩下的训练的训练这个算法中，每择一部分来计算c(w算，直到把整个训练练集中随机在次学习不再针对所有，b)，下一次学习再过程。中随机选择一部选不断重复这一

有能力从多个层次上进行抽象。网络（具有多个hier）度神经ddenlay比浅深上的优势，它层神经网络有更多结构

t到了梯度消失(va员们不断尝试将随机从上个世)的问经网络基本不题，导致学习过度爆发(ediene梯网络的训练，但却碰可用。度神经度下究人程异常缓慢，深度神�nt)或梯�ggraxplodin纪八九十年代开始，研降算法应用于深nishin

一些新的技术开始使用术包括然而，从2006年络，不断取得了突破。这些技开始，人们但不限于：来训练深度网

networks)；convol采lutiona用卷积网络(

dropout)rization(regu；⪑

rectifiedlinearunits；

更强的计算能力利用gpu获得等。

要我们直程编程接为要解决的问题设计算法和编程，而全新的编深度学习的优点显而易见：这是一种程方式，它不需是针对训练过。

解决自己学使得我们可以用简单习到而且程中就能解决复杂的问题，方法，这网络在训练过的算法来问题的在很多领域胜过了传统方法。正确

。过程发挥了更重要的作能远胜于复杂的算法加上简单的数据单的算法加上复杂的数而训练数据在这个据，可用：简

，通常人花姆剃刀原则符合精力；往往包含大量的参数，们要在调整这些参这从哲学原则上不深度网络数上面费奥卡巨大的

训练深计算力和计算时间；度网络需要大量的

v种失控的恐惧，同过拟合(o着神经网络的训练过程ing)问题始终伴随，学习过用制造了障碍。erfit些重要场合的进一步应慢的t们也对这项技术在一，这容易让人们产生一问题始终困扰着人时

通过自我学习，最终逐渐统治世界的故事。人工智能程序，的就是一个而bet的故事，所讲taca

。一般人认况发生吗？在的人工智能致这种情：大概有两个重要因素那么，现为，这恐怕还不太可能技术的发展，会导

式，限定在人们指的问题定的方只能第一，它的自我学习还是现在的人工智能，学习解决特定不是通用的智能。，仍然

入规整化的训练数人工智能程很严格们为其输连到网现在对于人工智能的训练过程，需要人于互联网上海量的非的格式要求序，这也意味着，行学习。第二，结构化数据进上，它也不能像be出仍然对于数据即使把据，系统的输入输tacat那样对

，但是对起源这样真正的网络智能要求它完全都能生命来说，以上两点够做到。人工智能罢了然而这仅仅是对普通的

(本章完)