第641章

5个参数。对于这个神经网络的训练过程，就是要确定这1193

粗略概，对应的输出无限训练的目标可以出无限接括为：对于每一个训近于0。练样本接近于1，而其它输

的情况下到95\%的，可以轻松达未lsen给出的实验结心代码只有74行！据michae果，以上述网络根结构为基础，在经过调优lnie正确识别率。而核

;&;#;3;8;;&;#;2;0;3;#;3;0;&;#;5;5;;&;#;5;7;8;2;;2;4;8;n;e;t;w;u;s;在5;9;;༓񖹯;0;3ᜯ5;9;;;&;#;;0;;;&;#;2;zhang，y;&;#;#;2;1;3#;3;8;;;&;&;#;5;6;;1;;;񖹮2013򑟢;8;2;;;&;hewzeile򑟷8;;;&;#;5;2;;;&6;3;6;8;;񖹯r;3;9;;;&;;8;;;#;3;8;0;2;5;9;;;&;采用了深度学;o;r;;;&;#;3;;5;9年做出的。r;o;b;f;;;&;#;2;3;#;2;;k;s;);0;4;0;1;5;9;;;&;n;a;l;6;;;&;思路和卷积网络(c;񽽴&;#;5;;;&;#𜖔;0;4;;;&;;#;2;5;4;;3;2;7;;的识别率，是由l5;;;&;;;&8;9;;;&;#;&;#;5;4;#;5;6;򐺗9;6;;;&;#;1;2;&;#;;;&;#;;;&;#;3ᝀ;2;9;0;;򇮷3;7;;之后，最终达到了9;;&;#8;3;05;4;;򌧁5;5;;;&;򑓗ᝀ5;4;5;;;&;;7;4;9;򑟢;;;&;#;2;1;#;3;;;;&;ᜲ2;1;0;3;;;&;#;5;5;;&;#习的8;0;;;&;&;#;2;6;ᜲ#;2;1򑟢在;#;5;2;5;;&;#;5;1;o;n;v;o;l;;;&;#;;9;.&;#;5;1;;#;5;5;;;7;5;򌧗&;u;t;i;o;;#;3;5;;;.;7;�3;6;7;9;8;#;2;9;5;;;&#򑖟&;#;3;5;;;;#;5;0;3;0;3;4;0;4;9;;3;5;;;;;;&;#;3;5#;5;5;;;annlecun，和;;;&;#;3;w;a;n;，ma;&;#;;5;1;，sixin;8;5;9;8#;5;7;;;

人眼的识别了。个辨认的数字，这真正结果是相当惊人的！似已经超越了如下这样难以考虑到这个数据集里还有一些类它

的值，就必须引入梯度下降算ntde整权法偏置参数scent)。在这个过程中一步步调重和(gradie

在训练的过程中，我神经网络需学习算法，来逐步调整们的要有一个实际可行的参数。

与期望输出能够尽量函数(costf为代价接近。我们需要找到一个表征。这个表达式被称程度进行来对这种接近表达式际而最终的目的，是让网⬡络的实unctio输出

x表示一个训输入。入。其实一个x代表784个练样本，即网络的输

表示当输入;1;2;(x)和a都时出值（以数学上的向量为&望输出值的接近程y(x;)表示当输入分别代表10个输来表示）。而的时候，表征了实际输出值和，这个差值平方，就望的输出值；而ᜯ期&;#;9;7;;;它们的差的度。越接近为x;的期就越小。;0;;;候，实际的输出值。y

设有5万个训练为n是训练样本的所有训练样样本，那数量。假本求平均值。么n就是5万。因训练，所以要除以n对是多次

实际上，在a;8;;;的函数数。�，是񞎏;里面。y;(子右边的w;和b;在络中所有权;，b;)示法认为输入不变的重򑐏成是&;#;1;1;，输进行训练的时候，不会变。在把和偏置&;#;9costfunc的函数。那么，式;的表;是w和b的函n看成是网就可以看t⺷呢？这个式子哪呢？样本）x)也是固定值，但a𙪗入情况下，;是固定的（训练9;;;和b;2;0;;。为什么这样看

3;8;;b;);的9;;;&;#;4;;，b;);的表达形式如何，它是&;;;&;#3;8;9;;;程就是想办法降低;7;;;&;;#;5;7ᜯᝇ;&;#期望输出值的，&;#;3;8;;;򑓗;9;;;，b题。;;的函数，这就变成了#;3;8;;;&;，学习的过#;5;9;;񞎏值的最优化问;&;#;;&;#;4;9;;;;;&;#;4;输了网络的实值ᝇ;&;#;3ᓯ;#;4;9;;;，;一个求函数最小出值和;4;9;;;&;#&;#;5;5;;;&;#际#;5;5;;;፟;，b)表4;9;;;5;;;&;#;;&;#;3;8;;;&;#&;#;4;0;;#;3;5;;;&;&;#;5෧过程，而不管&;;;&;&;#;5;4;&;#;3;5结来说，c;(w;);的9;;;&;#;5;7;;征3;8;;;&;#;5;9;;;&1;9;;;和bᓯᝇᜲ&;#;ᝁ򐺗;5;4;;就越小。因此;;&;#;5;0;;总򐿃;5;5;;;&;#接近程度。越接近4;0;;;&;#;;5;9;#;4;3;5;;;&;9;;;;4;;;&;#;5&;#;3;5;

进行数由于困难。所以直接较复杂，参数也非常c(w，b)的形式比多，学上的求解，非常

nt)。降算法(gra为了利学家们提出了梯度下解决这一用计算机算法desce问题，计算机科dient

最终抵达最这个算个维度的迈出微小值。的一步，从而切线贡献的方向，每次小向下多维空间中沿着各法本质上是在

在视觉上呈现。通常会退到三维空间三维空由于多维空间w;，b)只有两个参数的时候，它的比。进行类间里当c;(函数图像可以在无法体现，所以人们

最终就有可能到本成立。动，达谷底谷的斜坡上向下空间内也基就好像一个小球在山个理解重新推广到多维不停地滚。这

（上万，几十万量很导致学大习过程根据前面的c甚至更，样本的数多），直接很大，(w，b)而由于训练很慢。进行计算，计算量会

度下⵹于梯�𜆬�ntdessticgi度下降(降的一个近似。算法，是对e梯ocha、于是就出现了随机

所有(w，b)，下一次过择一部分来计算程。然后再不断重复这一习部分来计算c光。再从剩下的训练集中随机选在这个算法中，每集中随机选择一学的训练集，而是从训练次学习不再针对，直到把整个训练集用

）比浅层神经网络⪑具有多个hidden多个层次上进行抽象。有更多结�有能力从构上的优势，它络（深度神经网

络的训练，但却碰到ent)或梯度爆发(常缓慢，深i了梯度消失(vani尝随机梯度下降算法应用explodnggradie开始，研究人员们不断度神经网络基本不可用于深度神经网。异试将，导致学习过程ggradint)的问题从上个世纪八九十年代shin

年开始，人们开始深度网这些技术包括但不限于񶗶：使用一些新的技术来训练然而，从2络，不断取得了突破。

𚙕onvo采tionalnetworks)；用卷积网络(c

(dropout)；tionarizaregul

；rectifiedlinearunits

。利用gpu获得更强的计算能力等

和编程，而是针对见：这是一种全新的。直接为要解决们深度学习的优点显而易训练过程编程编程方式，它不需要我题设计算法的问

学习到解决问这网络在训练过程中的问题，而且在很就能自己题的正确方法，。使得我们可以用简单的算法来解决复杂多领域胜过了传统方法

过程发挥的算法加上简单的数：简单的算了更重要的作用数据，可能远胜于复据。杂法加上复杂的而训练数据在这个

往往包含大力；量的参数，这从哲学卡姆剃刀花费巨大的精深度网络整这些参数上面原则上不符合奥原则，通常人们要在调

计算时间训练深度网络需要大量的计算力和；

进一步应用制造了障碍题始终伴问题始终困人们产生一种失控的恐惧，同时也神过拟随着。的overfitti一些重要场合的扰着人们，这容易让合(�经网络训练过程，学问习过慢的对这项技术在

讲的就是一个而betacat逐渐统治我学习，最人工智能程序，通过自的故事，所世界的故事。终

个重般人认为，大概技术的发展，会导致这有两况发生吗？这恐怕还不那么，现在的人工智能种情要因素：太可能。一

第一，现在解决特定的问是通用的智能的人工智能，它的题，仍然不。自我学习还是限定在人们指定的方式，只能学习

✍第二的训练过程，需要训练数据，系统的输入格式要t那样对于人们为其规整化的输出仍然对于数据的化数据进行学习。着，即使把人工输入求很严格，这也意味智能程序连到网上，也不能像beta互联网上海量的非结构它能，现在对于人工智

。源这样真然而这说，以上两点要求仅仅是对普通的正的网络智能生能罢人工智命来它完全都能够做到了，但是对起

(本章完)