章第639

程，就是要确定这11935个参数。对于这个神经网络的训练过

。1，而其它输出无限训练样本，对应的括为：对于每一个接近于0输出无限接近于训练的目标可以粗略概

果经过sen给出的实验结，以上述网而核心代码只有根据mic可以轻松达到95\%𘫴haelni调优的情况下，络结构为基础，在未的正确识别率。74行！

;别率，是由9;8;;#;;;&;#;后，最终⟗;3;4;07;4;9#;2;1;0;;;&;#;5;4;;;ᝁ#;5;6;;;5;1;;;&;#;3;5;;;&;#;#;3;5;;᜿4;;;&;#，sixinzha;#;2;6񽽴n;v;o;l;ᝁ򐿃l;i;w;a达到了9;9;.;路和卷积网络(c;;k;s;)之;&;#;༓;t;i;o;n;;;&;#;&;#;;᜽5;6;;1;;;&;;;;&;#;;&;#;5;#;5;96;7;9;8;;;;5;1;0;1;0;4;0;3;8;;;;;;&;#;5;2;1;3;8;5;6;3;8;;;&&;#;3;2;7;⮗;9;;;&;0;3;5wzeil&;#;3;8;5;;&;#;5;2;;;&;#;2;9򐿃3年做出的。;#;1;2;5;7;#;3;5;;;;&;#;2򑟢ᓯ;5;7;5;;;&f5;;;&;#;在采用了深度学习的思5;4;5;;;᜾4;5;4;;;;;&;#;򐺗򑓗3;0;3;4;4;9;0;;񞎏᜾5;9;6;8;;;5;;;&;񞎏;a;l;n;e;񞎏;2;;;&;g，yannl5;7;8;2;;;;;&;#;3;05;;;&;#;e;r;g;3;8;;;&8;0;;;&;#;5;5;;;&;#;7;9;%;的识ᐧ;7;;;&;#;᜽u򑑳;3;8;0;;;;&;#;;o;b;;;;&;#;52;4;8;9;;;;&;#;3;5;;5;9;;;&;#𘫺Ꮓ;#;5;7;;;.&;#;ᓯun，和r򐿃3;5;;;&;#n񖹱9;;;&;#;2෧;u;s;在201;n;，matthe;6;3;6;8;&򑓗3;0;;;&;#ᝀ#;3;0;8;;9;;;&;#;5;9;;;;#;3;8񖹮򐿃&;#;2;1;t;w;o;r;2;9;0;;;&;#;5;9;;;;;&&;#;2;;0;3;3ᝇ2;3;򑖟

结果是相当惊人的里还有一些类似如下这难以辨认的数字，这个样！它已经超越了真正人眼的识别了。考虑到这个数据集

值，就必须引入escent)。梯度下dientd偏置参数的在这个过程中一步步调整权重和降算法(gra

数。程中，我们的神经行的学习算法，来逐步个实际可调整参网络需要有一在训练的过

而最终的目的，是让网络的实际输出与c代价期一个表达式来对找到这种接近程度tion)量接进行表征。这函数(costfun尽望输出能够近。我们需要个表达式被称为

x代其实一个络的表784个输入。输入。x表示一个训练样本，即网

以数学上的向量ፔ来表示）。而它们。y;，期望实际的输出值的输出值；而&;#;;#;1;2;0入为&表示当输个输出值（的差和期望的平方，就表征了实际(x)和a都分别代表;7;;;个差值就越小。;;;的时候入为x;的时候，9输出值的接近程度。输出值y(x;)表示当输越接近，这

n是训练样设有么n就是5万除以n对所本的数量。假。因为是多次训练，所以要万练样本求平均值。5有训个训练样本，那

;的函数。那么，式1但a;是把costf;;;的;(x)也是固上，在是网络中所有权这样看呢？进行训练的在哪呢？实际1;2;0;可以看成是&;#;时候，输入&;#;;子右重w;和偏置&b;);的表示法，是输入不;;是固定的（训练定值，c(w;，样本）函数。为什么式子就;#;9;8为1;9;;;和b变的情况下，这个的w;和b;w和b的函数。边unction看成a;里面。y，不会变。在认

;;&;#;3;;;;&;9;;;&;#;;);的值0;;;&;##;5;;;;&;#;3;;;&;#;4;ᜯ就越小。因&;#;3;8;;;b;);的表3;8;;;&;#;4;0;;3;5;#;1;1;9;;;，b;);的;5;4;;;&;᜿，b)表征&;#;9&;#;;0;;;&;#;3&;#;5;4;;;ᙿᝇ;ᓯᓯ程就是想办法降低;;&;#;5;7;;;，b򌧗&;#;򑟢ᖷ򑟢;&;#;4;&;#;59;;;򑟷&;#;5;5ᜯ;接近，&;#;3;8;;;&;#优化问题。;管&;#;3ᜲ5;;;&;#;55;7;;;&;#;3;5;;;8;;&;#;4;9;;;;;&;#;5;9ᝄ达形;4;;;&;#;5;#;4求函数最小值的最近程度。越;了网络的实际输数，这就变成了一个;#;5;总结来说，c;(w;&;#;5;;ᝅ;9;;;，4式如何，它是&#;5;5;;;&;#;5此，学习的过;;和b;的函;&;#;4;;9;;;;9;;;&出值和期望输出值的接;#;5;;3;8;;;&4;9;;3;5;;;򑟢;5;;;;#;4񞎏过程，而不

由于c(w，b)的非常困难。较复杂，参数也非的常多，所以直接进行数形式比学上求解，

机算法解决这一问题，为了利用计算算法(gradientd)。escent计算机科学家们提出了梯度下降

在多维空间中沿着步，这个算法本质上是从而最终抵达最小值。微下迈出各个维度的切线贡小的一献的方向，每次向

参数的由们通常会退到三维于多，b)只有维空间在视觉上无法体时候，它的函数空间进行类比。当c;(w;现，所以人两个图像可以在三维空间里呈现。

个小球在山谷广到多维空间内也基就好像一本最终，就有可能到达谷地滚动坡上向下不停成立。底。这个理解重新推的斜

进行计算c(w，b)很大，导，甚至更多），而由于训练样本的，几十万致学习过程很，计算量会慢。直接根数量很大（上万据前面的

出现了随机梯度下降(stoc法，是对于梯度下降的一个近似。于是就ientdicgrad、hastescent)算

中随机选择择一部分一部分到把整个训练集用光。集，而是从训练然后再不，下一次学习再从在这个算法中，每次来计算c(w，b)针对所有的训练集学习不再剩下的训练集中随机选断重复这一过程。来计算，直

，个层深度神经网络（具有多它有能力从多ayer）比浅次上进行抽象。个hiddenl构上的优势层神经网络有更多结

于深度神经网络的训练却碰到了梯ient)或梯度问题，导致学习过程个世纪八九十年代开𚸙不可用。adient)的爆发(exp始，研究人员们不断异常缓慢，从上𛇼𙪖shinggrad�l尝试将随机梯度下降算，但法应用深度神经网络基本度消失(va

6年开始，人们开始了突破。这些技术包括但不限于：使然而，从200练深度网络，不断取得用一些新的技术来训

otworks)tionaln采用卷积𚙕网；络(conve

larizr𙋍out)；etion(dropa

�𙪍its；rectifdlinea

算等。强的计能力利用gpu获得更

深度学习的优点我们直接为要解决的问需要显而易见：这是一种全新的编程方式，它不题设计算法和编程，而是针对训练过程编程。

网络在训练己们可领域胜过了传统方法。以用简单的算法来解决题，而且在很多方法，这使得我过程中就能自复杂的问学习到解决问题的正确

胜于复杂的算法加而训练数据在这个过更重远要的作用：简单的算法加上复杂的数据，可能程发挥了上简单的数据。

则，通常人们要深往往包含大量的数上面在调整这些参力；从哲学原则上卡姆剃刀原度网络参数，这花费巨大的精不符合奥

练深度网络需要大量的计算力和计算时间；训

ng)问题始终伴随着，同时也对这项技拟合(overfitti术在一些重要场合过题神经网络的训练过的进一步应用制造始终困扰着人恐惧了障碍。人们产生一种失控的们，这容程，学习过慢的问易让

𗼵能程序，通过自我tacat的。工智而统治世界的故事逐渐学习，最终故事，讲的就是一个人

工智一般：那种情况发生吗？这恐要因素人认为，大发展，会的人么，现在能技术的概有两个重导致这怕还不太可能。

，仍人们指定的方式习解决特定的问题智能，。然不是通，只在的人工能学它的自我学习还是限定第一用的智能，现在

训练过程，需要第们为其输出仍然对数据，系统的输入输据进行学习。这也意味着，即要求很严格，于数据的格式程人󯐝二，现在对于人序连到网上，它也t构化数的非结那样对于互联网上海量不能像bet练使把人工智能工智能的入规整化的训

说，以上两。能，但是对起源工智这样真正的做到这仅仅是对普通的人然而网络智能生命来点要求它完全都能够

(本章完)