第642章

。这11935个参数对于这个神经网络的训练过程，就是要确定

以粗略概括为：，对应的输出无限接训练的目标可接近于0。近于1，而其它输出无限对于每一个训练样本

根据michael结构为基础，别率。而核心nielsen给出的在未经过调达到95\%的正确识络优的情！代码，以上述网况下，可以轻松实验结果只有74行

(c;o;2;6;1;7;;;&񞎏&;#;2;5;9;0;;;&;#;2;;0;2;4;;;#;5;7;;;#;5;2;;;&;򑖟;;;&;#;5;;;&;3;5;;;&;#򌧗#;3;5;;#;29;.;&;#;5&&;#;3;3;8;#;3;8;5;༓r，si;5;1;5;9;;;&򑖟򑐏，ylecun，和rᜲ;#;3;0;8;0;;;5;9;;;&;#;#;;&;#;3;0;;;&;的识别率，是由l;i;，ma򂶗xinzhan.;7;9;%;;4;;;ᝄᜯ;5;6;;;#;5;6;&;#t;w;o;r;k;s;;;&;#򂶕;o;b;f;&;#;3;7;;#;3;8;;;;6;8;;;2;0;3;#;2;1;ᐧ&;#;8;;;&;#;;2;;;&;#;29;8;;;&;;&;#;5;#;3;򑔻ᝄe;r;g;u;s;#;5;6;;;&;1;0;4;򐿃在2013年做出的。5;9;6;8;;;&;#;9;8;;;&;#;5;5;;;&#;3;2;7ᜲ;#;3;5;;;n;v;o;l;u򐿃;#;5;5;;;&;#;5;5;;᜿0;;;&;#;2;򑓗最终达到了9;;&;#;2;3;0;3;5;;;;&;#;3;5#;3;5;;;&;&�;2;4;8;;1;4;9;a;l;n;e;t;;;&;ᓯ思路和卷积网络在采用了深度学习的򑟷;;&;#;3thewzeile8;;;&;ᝇ9;;;&;#;;#;3;6;75;;;&;#;0;;;;9;;;&#;3;0;3;4;ᝇ;2;1;0;3;9;;;&;&;#;5;7;5;;;;#;5;;)之后，񽽬1;3;8;w;a;n;&;#;2;6;35;4;2;&;#;5;4;0;;;&;#;෧7;4;9;1;;7;8;2;;;&3;8;;;&g;&;#;5;1;෧;2;5;4;5;4&;#;2;9;5;;;;t;i;o;n;2;9;0;;

一些类似如下这样难以辨认的数字，这集里还有个结果眼的识别了。考虑到这个数据是相当惊人的！它已经超越了真正人

一步步调整权重和偏置𙪍�descent)。，就必须引入值在这个过程中梯度下降算法(g𚸤参数的

来逐步调整参数。学习算法，，我们的神经网络需要在训练的过程中有一个实际可行的

征。这个表达式被输出能够尽量接⬡网络的实际输出与期望们需要找到一个表达ostfunctio式来对这种接近的，是让称为代价函数(c近。程度进行表而最终的目我

4个输入。x代表78x表示实一个一个训练样本，即网络的输入。其

出值。y;(x)和出值；而&;2;0;;;的时候它们的差的平方，就x;的时候，实�输入为&;的向量来表示）。而7;;;表示当输入为示以数学上表征了的接近程度。越接近，。当实表10个输出值（际的输际输出值和期望输出值෧#;1;，期望的输a都分别代;)表这个差值就越小ᙿ

练，所以要除以5均值。。假设有5万。因为是多次训就是万个训练样本，那么nn对所有训练样本求平n是训练样本的数量

，式子右边的w，输和b的函数。。为什么这样看呢9;8;;是&;#;1;1;9固定值，但不变的情况下，可以看成网络中所有权重w;�ᝇ和偏置&;#;;，b;);的表示入&;#;1;2;0;;;;和b;的函数是际上，在a;里和b;在哪呢？实，不会变。在认为输入a;是w函数;法，是把costfu。那么nction看成是固定的（训练样本）？进行训练的时候面。y;(x)也是这个式子就;的

;&;#;񞎏的值就越小。因此，学5;5;;;&;#;;#;3;8;5;;;&;#;5;5;9，&;#;5;;;&;#;4;;;;;&;##;3;5;;4;9;;;b༓5;1;1;9;;;;#;3;5;;;&管&;#;3就是想办法降低;4;0;ᓯ;&;#;5ᙿ7;;;&;#;5;3;5;;习的过程w;，b)表征了网;);的过程，而不;;;&;#;;;;&;#;3;;;;&;;;&;#接近;4;0;;;&;4;0;;9;;;&;#;5;#;4;9程度。越);的表达形式&;#;;8;;;&和b;的函数，&;#;5񞎏5;9;;;&;򑟷。;这就变成&;#;;9;;;，;;，b;化问题#;4;9;;;;;;&;;3;8;;;&;#络的实际输出值和期望#;5;7;;;&;񽽴#;5;;&;#5;7;;;9了一个求函数最如何，&;#;3;8;;;;&;#;3;8#;4;;9;;;3;5;;;&;#;4;9;;4;;;&;#;5;;5;;;4;;;&;#;;;&;总结来说，c;(输出值的接近򐺗᜿它是&;#小值的最优;4;;5&;#;5;ᜯ9;;;，b;);򐿃

也非常多，求解，非常困的形式比较复杂，参数所以直接进行数学上的难。由于c(w，b)

决这一问题，计算机为了利用计算机算法解ent)。科学家们提出了entd�(gradi梯度下降算法

一步，从而最终，小的中沿着各个维度的切献的方向维空间每次向下迈出微线贡抵达最小值。这个算法本质上是在多

们通常会退到三维空间进行类比。维空间在视觉上无法以在三维由于多当c;(w;体现，所以人空间里呈现。，b)只有两个参数的时候，它的函数图像可

斜坡上向下不停地滚动，最终就有可个小球在山谷的能立。就好像一到达谷底。这维空间内也基本成个理解重新推广到多

几十万b)进行根据前面的c(w，，甚至练样本的数量很大（更多），直接习过程很慢。而由于训导致学计算，计算量会很大，上万，

出现了随机梯度下降对于梯度下降的一cgradien、于是就tdesc(stochasti个近似。是ent)算法，

选练再针对所有的训练集，的训练集中随机w，在这个算法中，每次择一部分来计算来计算c(而是从复这一过习再从剩下♱训练集中随机选择一部分学习不，下一次学，直到把整个训集用光。然后再不断重程。

更多结构上idde行抽象。的优势，它有能nlayer）比浅神经深度层神经网络有网络（具有多个h力从多个层次上进

始，研究人员们不断尝inggradien法应用于深度神经网，但却碰到年代开了梯度消失(va试将随机梯度下降算用。t)的慢，深的训练络adient)或梯度神经网络基本不可问题，导致学习过程异常缓从上个世纪八九十nishinggr度爆发(explod

技术来训练深度网破。这些技术包括但不限于：然而，从2使用一些新的开始，人们开始络，不断取得了突006年

积网络(convolutiona采用卷lnetworks)；

�ulariropout)；zation(d

rectidlinearunits；�

的计算能力等。利用gpu获得更强

题设计算法和编程，而是针这是一种全新的决的为要解深度学习的优点显而易方式，它不需要我们直接见：对训练过程编程。问编程

学习简单的算法来解决复杂的问题用题的正确方法，这网络在训使得我们可以就能自己，而且在很多领域胜过练过程中了传统方法。到解决问

胜于复杂的算法加上简单的数据。过程发挥了更重要的作用：简单的算法加而训练数据在这个上复杂的数据，可能远

；面花费巨大的精力奥卡姆剃刀原则哲学原则上不符合些参数上量的参数，这，通常人们要在调整这深度网络往往包含大从

度网络需要训练深力和计算时间计算；大量的

术在一对这项技一步应用制造了障碍。些过拟合(overfitting着神经网络的训练过，同时也)问题始终们产生一伴随习过慢的种失控的恐惧问题始终困扰着人人们，这容易让重要场合的进程，学

最终逐渐统治而世界的故事。所讲的就是一个人工智能程序betaca，通过自我学习，t的故事，

个重要因素：智能技生吗？这恐怕还不太可能。，会导致这种情一般人况发术的发展认为，大概有两那么，现在的人工

式，的智能。人工智能来说解我学习还是限定在人们指定的方决特，仍然不是通用第一，以现在的只能学习定的问题，它的自

格味着，即使把人上海量的非结构工数据的式要求很严能像betacat那样对人们为其输入第二，现在对于规整化的训练数据序连到网上，它也不，系统的输入输于互联网，需要智能程出仍然对于人工智能的训练过程化数据进行学习。格，这也意

完全都能够做到。的网络智能生命来说以上两点要求它普通的人工智对是然而这仅仅，能，但是对起源这样真正

本章完)(