第򅇡第641章

对于这个神经网络这11935个参数。的训练过程，就是要确定

无限接限接近于1略概括为：对近于0。个训练样本，对应的输出无训练的目标可以粗于每一，而其它输出

行！达到95\%的正况下，可以轻优的情chaeln在未经过调松给出的实验结果，以ielsen确识别率。而核上述网络结构为基础，心代码只有74根据mi

hewz;;;&;#;;0;;;&;#&;#;2;6;1;&;#;5;5;;;&;#;5;9;�;;&;#;1;23򐺗6;;;;o;l;u;t;;;5;7;5;;;&;#;3#;5;;;;&cun，和r;;;&;#;;&;#;&;#;3;8;;;9;1;;񖹮;;&;#;ᝂ;;;&;;;&;#;5;5;;7;9;8;;;&3;5;7;8;2�eiler，ᝇ;;&;出的。;3;8;;;&;3;2;5;4;5;4;#;5;3;5;;;&;9#;3;5;;;&;0;;;&;;5;9;;;#;5;6;2;1ᝁ;n;v0;;;&;#;3;;񽽱.;7;9;%;的;#;5;;&;#;2;&;#;3;5;识别率，是由l;i;򑟢ng，yannle2;4;8;9;;;9013年做;;&;#;;3;0;8;;2;9;0;;;&;ᙿ.;&;##;2;񽽬深度学习的思路ᝇxinzha7;;;򐿃;0;4;&;#;3;8;#;5;9&;#;2;5;;7;;;&;#;;2;;;&;#;积网络(c;o最终达ᝇ到了9;9;2;7;8;0;;;�o;b;f;e;r;򑟷;&;#;5;5g;u;s;在2r;k;s;)之后，在采用了򑛋񽽱༓򂶑;;&;#;3;;t;w;o;2;3;5;4;;8;;;&;##;2;1;09#;3;8;;;#;2;6;&;#;;𜆡;3;8;2;;;&򇮰ዻa;n;，matt5;;;&;#;3;#;2;1;4;4;;;;#;52;1;0;4;3;0;3;4;;9;0;;;&;&;#;3;5;;;;&;;0;3;45;;;&2;4;;0;3;3;9;ᓯ#򑟷񖹯༓;;;&;#;5;1;#;3;#;5;6;;;&a;l;n;e;8;5;9;8;;;;&;#;5;7;;;&;#;5;;#;2;;1;;;&;#;&;#5;9;;;&;;5;1;3;6;8;&;#;5;6;8;;;&;#和卷

的识别了。越了考虑到这个结果是相当惊人的数有个真正人眼字，一些类似如下数据集里还这样！它已经超难以辨这认的

gradientde偏置参数的值，就必须在这个过程中一步引入梯度下降步调整权重和)。scent算法(

逐步调整参数。有一个实际可行的学习算法，来在训练的过程中，我们的神经网络需要

costfun目的，是让网络的实际输出与期望输出能够尽量接近。接近程度进ctio行表征。这个表⬡我们需要而最终的找到一个表达式来对这种达式被称为代价函数(

x表表即网络的输入。其实一个x代输入。784个示一个训练样本，

y(x;);7;;;表这个;#;1;2表示当程度&;#;9望时候，差值就越(x)和a都分别；而;0;;来表示）。而它们差的平方，;的时候，。越接近，出值和期（以数学上的向量代表10个输出值的输出值的接近期望的输出值了实际输就表征输入为&实际的输出值。y;小。示当输入为x;的

以要除以n对所有训练本样本求平均值。n是训练样的数量。假为是多次训练，所设有5万个训，那么n就是5万。因练样本

把;和b;的函呢？实costf权重w;和偏置&#;9;8;;;的函x)也是固定值，;1;1和b的，这个式子就际上，在a中所有但a;是w不变的情况下;#;1;可以看成是&;#);的表示法，是样看呢？进;c(w;，b;2;0;;;是函数。边的w;和b;在哪;9;;数。那么，式子右ion看成是网络固定的（训练样本），里面。y;(不会变。在认为输入;数。为什么这unct行训练的时候，输入&

网络的实际输;򀚅，&3;8;;;;&;#;3;5;;;;&;#;3;89;;;&;#;4是&;#;1;1;98;;;&;#;ᙿᘛ񖹰;5;7过程就是想办法降低&，这就变成了一个;(w;，b)表征了;;;&;;;&;#;5򑖟;;&;#;3;ᜯ;#;3&;#;4;;4;9;;;&;#;4;9;;;;;;&&;#;3;ᝇ򑟷򑎫;#;5;9;;;4;9;;;&;#;&;#;5༓;;;&;;;&;;9;;;񖹱;3;5;;;&总结来说，cᓯ而不管&&;#;3;;&;#;5;4b;);的值的接近程度;7;;;&;#;;#;4;9;;;&#;5;#;5;7;;;&0;5;;;;，b;);;;&;ᝇ;和b;的;;#;5;9;。越接近3;5;;;&;#5;9;;;，此，学习;5;;;&;#;5;#;3;8#;3;5;;;&;化问题，;;&;#;3;9;;;༓;8;;򑔻;4;;;&;#;;&;#的表达形式如何，它5෧求函数最小值的最优෧b;);的过程，;0;;;出值和期望输出;函数5򐺗;;5;5;;;&;#;4的值就越小。因。;񖹱&;;&;#

参数也非常多上的求解，非常b)的形式比较复杂，困难。由于c(w，，所以直接进行数学

为了利用计科学家们提出了梯度下降算法一问题，计算机。(gradient算机算法解决这descent)

这个算法本而最终抵达最小值。，每次向下迈出微小的一步，从质上是维度的切线贡献的方向在多维空间中沿着各个

现时候，进行类比常会退，b)只有两个参数的⺷它的函数图由于多维空间在视觉。上无法体现，所以人。当c;(们通像可以在三维空间里呈到三维空间

个小球在山谷像一坡滚动，最终就有可能到上向下不停地这个理解重新推广到达谷底。多维空间内也基本成立。就好的斜

量很大（上万)进行计算，计甚至更于训练样本的数多），直接根据前面的导致学习而由，几十万，过程很慢。c(w，b算量会很大，

、于是就出现了随机gradientde梯度下降(stoent)算法，ⵏ一个近似。astic𘌠是对于梯度下降的

集，而是从训在这个算用光。然后再不断分下一次学练集中随机选重复这一，每次学习不再针对所部分来计算，直到把择一部有的训练整个训练集习再从剩下的训练集法中中随机选择一来计算c(w，b)，过程。

从多个层次上进行抽象。优势，它有能力�深度构上的）比浅层神经网�神经网络（具有多个layer络有更多结

基本不可将随机梯度九十年)的问题，用。inggd下降异常缓算法应用于却碰nt)或梯度爆发�从上个世纪八�深度神经d到了梯度消失(代开始，研究人网络的训练，但hinggra�vanisient𙪍慢，深度神经网络员们不断尝试导致学习过程

然而，从20突破。这些技于：网络，不断取得了来训练深度使用一些新的技术06年开始，人们开始术包括但不限

采用卷积)；volutionalnetwo网络(con�

out)；pation(droregulariz

e�𗭚rfiedlineunits；

利用gpu等。获得更强的计算能力

优点显而易见：全新的编程方式，它而是针对训练过不需要我们直接为要和编程，程编程。这是一种深度学习的算法解决的问题设计

到解决问题以用简单的算法来得我们可在很多领域胜过了传，而且网络在训练过程的正确方法，这使统方法。就能自己学习解决复杂的问题中

数据法加上复杂的重要的作用：简单的算数据，可能远胜于复杂个过程的算法加上简单的发挥了更。而训练数据在这

些参数上面花费巨大的哲通常人们要在精力；包含大量的参数，这从调整这深度网络往往合奥卡姆剃刀原则，学原则上不符

训练深度网络计算时间；计算力和需要大量的

终的人们，这容易让人们产生一种失控伴随着神经网络的训场合的进一步应题始终困扰着术在一些重要过拟合(overf恐惧，同时也对这项技问用制造了障碍。itting)问题始练过程，学习过慢的

betacat的的故事。通过自我学习，最终逐渐统治世界而个人工智能程序，故事，所讲的就是一

可怕还不太因素：概有两个重要的人工智那么，现在能。一般人认为，大这种情况发生吗？这恐能技术的发展，会导致

是限定在在的人工智能，它的自学习解决特定的我学习还问题，人们指定的方式，只能仍然不是通用的智能。第一，现

据进们为其输入第二，现在对的非结构化数规整化的训练式工智能程序连到网上，要求很严格，这也它也不能像beta练过程，行学习。数据，系统的输入输出仍然对于数据的格对于互联网上海量于人工智能的训cat那样需要人意味着，即使把人

这仅仅是对普通的人是对起源这样然而工智能够做到。两点要但求它完全都能真正的网络智能生命来说，以上罢了，

(本章完)