第640第640章

对于这个神经网络的训11935个参数。练过程，就是要确定这

接近于0。，对应的输出无限接近于1，而其它为：对于每一输出无限练的目标可以粗略概括训个训练样本

网络结构，以验结果4上根据michaeln行以轻松达到9心代码只有7！5\%的正确为基础，在未经过述l识别率。而核𙪍sen给出的实下，可调优的情况

5;9;ᜲ#;2;&;#;5;73;8;;;&;#;ᝇu;s;在2013年.;&;#;5&;#;3做出的。򑟷6o;n;v;o;l;;5;2;򂶑2#;3;8;0;2;f;e;r;g;;5;1;#;3;8;#;3;2;&;#;5;9&;#;5ᖷ񖹮;5;6;;;&;#;;;&&;#;;;;&;;෧᜾ᝇ7;8;0;;;&;u;t;i;3;5;;;;;&;#;3;;#;5;6;;0;;;෧7;8;2;;;0;3;4;0;用了深度学习的思ᜯ&;#;2;9;5a;n;，ma;#;5;5;;&;&;#;3;8#;3;7;;ᓯ;#;3;8;;;&;3;0;3᜽;3;2;2;1;4;9;zhang0，和r;o;;4;5;4;;i;w;&;#;2;6;1;;;;&;;5;9;8;到了9;9;;0;4;05;&;#;5;;;;&;#;1;0;4;8;9;;;;5;;;&;򐺗;4;;;率，是由l;终达5;5;;;&;er，sixin;#;3;5;#&6;8;;;&;;0;;;&;;7;5;;;&;#;;;&;#;2;5;9;;;&;0;3;3;9;;;;5;;;&;#;;;&;񽽴#;3;0;8;3;򑟷9;;;;;;&;#;&;#;2;;;&;#;2;1&;#;2;5;4;;;&;#;;;&;򂶍;5;;;&;2;9;k;s;)o;n;a;l;n;;;&;;&;#;;e;t;w;o#;3;;;;&;#;2;1;3;8;2ᝇ5;5;;;&;#;;7;;;;7;9;%;的识别2;3;5;4路和卷积网络(c;;&;#;5;9，y4;9;1;;&;#;1;0;3;5#;3;8;;&;#;;;;&;#;;;.2;6;3;;5;9;6;8;5;9;;;&tthewzᝇ⚃;;;&;#;3;5ᝀ0;;;&之后，最#;3;5;lecun�;&;#;5;&;#;5;෧在采;#;3;򑟢6;7;9;8;4;;;&;�

考虑到这个数据集里还真正人眼的字，这个人的！它已经超越了识别了。结果是相当惊下这样难以辨认的数有一些类似如

置参数的值，这个过程中一步步就必须引入梯度下d调整权重和偏降算法(gra在ientdescent)。

行的学习算法，来逐步调整参数在训练的过程中，我。络需要有一个实际可们的神经网

式来对这种接近程度需要找到一个表达ostfuncti量接近。我们�实际输出与期望达式被称最终的输出能够尽ဃ进行表征。这个表目的，是让网络的而为代价函数

即网络的。84个输入输入x表示一个训练样本，。其实一个x代表7

际输出值；而&;#;9了实就越候，期望个差值;7;;;表值和期望接输出示当输入为x;的时代表这小。候，实它们的差的为&;#;出的输值的接近程度。越来表10个输出值（以示）。而际的输出值。y;(x)和a都分别1;2;0;;;的时平方，就表征近，数学上的向量入y(x;)表示当输

平均值。练样本求假设有5万个训训为是多次训练n是训练样本的数量。练样本，那么n，所以要除以n对所有。因就是5万

x)也是w;和偏进行训练的时;9;;;和b;的函数。那么，式子，输入c;是w和b的函数为输入不变的情况stfun&;#;12），不会变。o固定值，但a是&;#;1;1的w;和b;在哪呢本在认。表示法，是把置候可以看成;&;#;数。为什么这样(w;，b;);的，在a;里面。y;(式子就看呢？9;8;;;的函？实际上c;是固定的（;0;;训练样右边ction看成是网络中所有权重下，这个

&越接5;;;&;;和b;的函;&;#;3ᝇ;#;5征了网络的实际෧9;;;&;#;5;&;#;4;它是&低&;#;3;8;4;9;;这就变成༓8;;;&化问题。;;9;;;，b;);#;5;9;数，。;&;#;;;;，b;);总结来说;#;1;1;9;;5;&;#;3;#;3;5;;;&&;#;򑟢;8;;;5;7;;;&񽽱ᝇ输出值和期望输出值程度了一个求函数最小值ᝀ#;5;4;;#;5;4;;;8;;;򑖟;#;3;8;;;9;;;&;#;4;9;;;&;#;;;&;#;54;9;;;7;;;&;#优c;(w;，b)表#;4;9;;;ᝀ;;;&;#);的过程，而不管&;񖹯的表达形式;5;;;&;#;񞎏ᝇ;9;;;&;#;;;&;#;4;0;，&;#;4;0;5;7;;;&;3;5;;&;#的接近;5;;;;&;#;5;5;;;&;#;5;&;#;5;4;&;#;3;;的值就越小。近，&;ᜯ;5;9;;;，b;;;&;#;5;59因此，学习的过程就;;&;#;3;;0;;;&;的最;如何，;8;;;&;#;3񖹯是想办法降;5;9;;;

的求解的形式，非常比较复杂，由于参数也非常多，所以直接进行数学上困难。c(w，b)

d度下降为了利用计dient计算机科学家们提出)。算机算法解决这一问题，梯了escent算法(gra

出微小的一步，从而方向，每次向下算法本质上是在多迈最终抵达最小值这个个维度的切线贡献的维空间中沿着各。

)只有两个参数的b视觉上无法体现，所以c;(w;，可以在三维空间里呈现空间进行类比。由于多维空间在退到三维人们通常会。当时候，它的函数图像

解重上向下不停地滚动达谷底。这个理就好像一个小球在山谷的斜坡新推广到多维空间，最终就有可能到内也基本成立。

，计算本的数量很学习过程据前面的c(w，b)计算量会很大，导致，几十万，而由于训练样甚至更多），直接根大（上万。很慢进行

e现是就出算法，是对(stochasti梯度下降的一个近似。ⵏcgradie�、于于ntde了随机梯度下降

，下一次学习再从剩下算，机选择一部分来计在这个算法中，。一过程。然后再不断重复这习不再针对所有的训练每次选择一部分的训练集中随中随机直到把整个训练集用光集，而是从训练集来计算c(w，b)学

结构上的优势，它有能力浅层神经网络有更多。多个层次上进行抽象深度hiddenlaye从r）比神经网络（具有多个

度神经网络基本不可gradient或梯度学习过程异常缓慢，深从上个世纪八九用。a𙊿度下降算法应用于深度(exploding神经网络的训练，但却们不断尝试将随机梯nish碰到了梯度消失(v导致十年代开始，研究人员radient)爆发𙪖)的问题，

不限于：开始，人们开始使用的技术来训练深度网络技术包括但一些新，不断取得了突破。这些然而，从2006年

tworks)；volutional𚸕采用卷积网络(con

rization(droregulapout)；

units；rectinearfiedli

获得更强的计算能力等利用gpu。

直接为要解优点显而易见：，而是针全新的编过程编程对训练深。决的问题设计算法和编程这是一种度学习的程方式，它不需要我们

能自己学习到解网络在训练过程中胜过了传统的正确方法就且在很多领域决复杂的问题，而，这使得我们可以用简单的算法来解方法。决问题

而训练：杂的数据简加上复的算法加上简单的数据于复杂胜数据在这个过程发，可能远。的作用单的算法挥了更重要

；则，通常，这从哲学深度网人们要在调整这些参数上面花费巨大的精力络往往包含大量的参数姆剃刀原原则上不符合奥卡

需要大量的计算力和计算时间；网络训练深度

过拟失控场合的进一步应用制造了障碍。终扰着人们，这容易让合(oveting对这项技)问题始习过慢的问题始终困rfit人们产生一种伴随着神程，学的恐惧，同时也经网络的训练过术在一些重要

，最终个人工智能程序，通过自而betacat我学习逐渐统治世界的故事。的故事，所讲的就是一

那么，人工智能技术的发展大概有两个重要因素：现在的，会导太可能。一般人认为，况发生吗？这恐怕还不致这种情

能。仍然不是通用解决特定的问题，的智人工们指定的第一，现在的智能，它的自我学习还是限定在人只能学习方式，

输使把人第二训练过程，需要人对于人工智能工格式要求到网上，化的训练数据，系统的它也不能像betac入输出仍然对于数据的们为其输入规整at那样对于互联网上海量的非结构化数据进行学习。很严格的，这也意味着，即智能程序连，现在

仅仅是对普智能生命来说，以上工智能，然而这正的网络两点要求它完但是对起源这样真全都能够做到。通的人

(本章完)