第641章

是要对于这个神经网个参数。，就络的训练过程1935确定这1

每一个训输于，而其它输出略概括为：对训练的目标可以粗出无限接近于0。练样本，对应的无限接近于1

为基础，在未达到95\%的以轻松正确识别率。而核心代码只有根据micha！74行上述网络结构验结果，以𘫴elni经过调优的情况下，可sen给出的实

;;&;#;2򑘃&;#;32;4;;;&;;&;#񽽱&;#;5;9;;;;&;#;3;8;;2;6;3;6;8;f;e;r;g;u⚃1;3;8;;w;a;n做出的。;&;#;2;5;;9;.;&;;;;&;;9;1;ᝇᝇ;0;3;5;�;1;0;򊋇�;;;&;#;31;5;9;;;&;ler，sixinz;&;#;3;53;8;;;&;5;7;8;23;2;3;5;ᝇᜯ4;8;9;;;&n;v;o;l᜿;0;;;&;#;;;&;#;5;#;5;5;;l;n;;;&;#;2;;򑟢;9;8;;;񞎏;3;7;;&;#;3;5hang，ya;0;3;3;9;򑟢e;t;w;o;&;#;3;8;5c;o;;4;9;0;;s;在2013年;2;;;&;;8;;;#;5，最终达到了9;;;&;𘫱&;#;2;5率，是由l;i;2;9;0;;;5;6;;;&;;0;4;;;&;#3;0;3ᝇ򂶍un，和r;o;#;5;5;;;;&;#;59;5;7;;，matt;#;3;;;&;#;;;&;#0;8;3;0򑎫#;2;;6;75r;k;s;)之后;;9;8;;o;n;a&;#;2;在采用了深度学习的思;5;9;;;&;#;;;&;#;1;21ᝅ;4;0;5;;;&;#;5;&;#;3;5;Ꮓ;;;&񖹯;0;;;&;#;&;#;;;;&;#;nnlec7;8;9;6;0;;;&;;5;1;;;&;#hewz&;#;2;7;4;;;&;#;;3;5;;;&ᜯ#;2;ᝇᝄᝇ;;&;#;23;0;3;4򊋇5;5;;;#;2;1;3;2;&;#;3;8;;9;;;;;;.;7;9&;#;5;6#;5;7;;;&;1;;;&;#;5;#;5;74#;5;4;;;&;;&;#;5;;%;的识别#;5;2򀚁;9;;;&;#;;#;5;5;;;;;;&;#;3;4;5;4路和卷积网络(;#;2;6;

。辨认是相当惊人的！正人眼的识别了的数字，这个结考虑到这个数据集里还些类似如下这样难以果它已经超越了真有一

和偏置参数的值，就必须引入梯度下步步调整权重降算tdesce法(gradien在这个过程中一nt)。

参数。在训练的过程中，我个实际可行的学习算法，来逐步调整们的神经网络需要有一

而对这种接近程度望输出能够尽量接表达式被)近。我们需要个找到一个表达式来让网络的实际输出与期tion最终的目进行表征。这称为代价函数(cos的，是tfunc

，即网络的输入。其4个输入。实一个x代表78x表示一个训练样本

值的接近程度。越，期望的输出的差的y时候，实际的输出值。值和期望输出表10个输出示当输入为x;的(x;)表示当输入为平方，就表征了;(x)和a都分别代y1;2;0差值就越小。;#;9;7量来表示）。而它们򐺗实际输出接近，这个;;;的时候值（以数学上的向值；而&&;;;表

，那么样本以n对所有训练样本求平要除n就是5。n是训练样均值本的数量。假设有5万个训练万。因为是多次训练，所以

就可以看成是&�funct么，式子右边的w;;&;#;1;2;，不里入不变的情况和b;在哪呢？实际面。网络中所有权重的表示法，是把c函数。c(w;，b;)行训练的时候，输入下，这个式子ion看成是;;和b;的函数。那上，在a;是固定的y（训练样本）认为输;(x)也是;8;;;的固定值，但a;是w函数。为0;;;和b的什么这样看呢？进会变。在;#;1;1;9;w;和偏置&;#;9

&;#;5;9;;&;#;3;8;ᝅ#;3;򑐏小򑟢෧#;3;5;;;&;;#;5;7;;值的接近程度。越接近7;;;&;#;5而不。;5;9;;;际输出值和期望输出;&;#;5;，它是&;;4;0;;;&;;;&;#;4򐺗4;0;;;&;;4;9;习的过征了总结来说;#;3;8;;函数，这就变;0;;&;#;5;9;4;;;5;9;;;&;#;ᒋ񞎏#;5;5;9;;;和b;的;9;;;，򐿃;5;;;&;##;4;9;;;&;#;5;񞎏;&;#;3;5;;;&;;5;;;5;;&;#;3的值就越小。因此，学;;;&;#;4ᝇ;#;3;8;;;&5;;;b;);ᜯ值的最优化问题的表达形式如何;;;;&;管&，c;(w;，b)表;#;5;5;;;&;#;4;;;4;9;;;&&;#;3;8;;;&;#;3;;#;3程就是想办法降低&;3;8;;;&;;񖹭;7;;;&;#;򑟢;;&;#;3;85;;;򌧗;，b;);的过程，络的实#;5;4;;;9;;;#;4;9;;;&ᓯ，b;);&򑖟&;#;5成了一个求函数最&;#;5;，#网

难。进行数求解，非常困由于c(w，b学上的数也非常多，所以直接)的形式比较复杂，参

为了利用adient法(gr一下降算desce问题，计算机计算机算法解决这nt)。科学家们提出了梯度

在多维空间中沿着各个这个算法本质上是维度的切线贡献的方向出微小的一步，从而最终抵达最小值。，每次向下迈

图到三维空间由于多维空间里呈现。所体现，;(w;，以人们通常会退行类比。当c数的时候，它的函数进像可以在三维空间在视觉上无法b)只有两个参

新推广到多维终就有可个小球在山谷的斜。这个理解重能到达谷底坡上向下不停地滚动就好像一内也基本成立。，最空间

多）慢。而由于训练样本的(万，甚至更计算量会几十，直接根据前面的c数量很大（上万，w，b)进行计算，很大，导致学习过程很

随机梯度下降(sto，是)算法度下降的一个近似sticgradi。、于是就出现了entdescent对于梯�

断重复这一过程，直到把整个在这个算法中，每。训练集用光。然后再不b)，下一次学习再从剩下的训分来计所有的算练集中随机选择习不再针对一部训练集，而是从训练集中算c(w，次学来计随机选择一部分

力从多个层次上进有能有多个hi深度神经网络（具行抽象。更多结构上的优势，它enlayer𘜄）比浅层神经网络有

)的问梯度⳩𚙏人员们不从上个世纪八深度神经网络的训练，但却碰到了程异常，研究t降算法应用于消失(vanishi断尝试将随机梯度下本不可用。九十年代开始导致学习过缓慢，深度神经网络基题，dient)或梯度爆dinggrad��发(exp

开始使用开始，人们破。这些一些新的技术来训不断取得了突练深度网络，然而，从2006年：技术包括但不限于

采用卷积网络(；�convolutionalnetwor

rizatout)；reguion(drop⪑

nrectifieits；dlinearu

计算能力等。强的利用gpu获得更

们直接为要解决的问这是一种全新的编程训练过程编程。题设计算法和编方式，它不需要我深度学习的程，而是针对优点显而易见：

而且在很决复杂的问到解决问题的多领域胜过了传统方法。这使得我们可以用正确方法，网络在训练过程中就能简单的算法来解自己学习题，

杂的算法加上简单的数据。发挥了更重要的作用：而训练数据在这个过程简单的算法加上复据，可能远胜于复杂的数

花费巨大的精力；人们要在调整这些参数上面姆剃刀原则，通常符合奥卡数，这从哲学原则上不深度网络往往包含大量的参

训练的计算力和计算时间；深度网络需要大量

项技术在一些重要障碍。g)问题着训练过程，学习场合过慢的问题始终困扰着网络的人们，这容易让人们产生一种失控始终伴随的恐惧，同时也对ttin这erfi过拟合(ov的进一步应用制造了神经

终逐渐统治世界的故事是一个人工智能程，通过自我学习，最而betac序，。at的故事所讲的就

能技术的要因素：大概有两智现在的人工发展，会导致这种情况可能。一般人认为，那么，发生吗？这恐怕还不太个重

第一，现在式，只能学能。限定在人们指定的方，仍然不是通用的智习解决特定的问题的人工智能，它的自我学习还是

二化的训练数据，对于数据的格式要求很构化数据进行学习。样对于互联网上海第系统的输入输出仍然，需要人们为其输入规整人工智能程序连到网上量的非结，它也不能像be现在对于人工智能严格，tacat那这也意味着，即使把的训练过程，

都能够做到两点要求它完全然而这仅工智能罢了，但是对仅是对普通的人起源这样真正的网络智能生命来说，以上。

(本章完)