第63第639章

训练过程，就是要确个参数。11935定这对于这个神经网络的

于0。训概括为：对于每一个训输出无限接练的目练样本，近于1，而其对应的它输出无限接近标可以粗略

lnielsen给出的实验结果，码只有74行！以上述网络结构为基根据michae到况下正确识别率。而核心，可以轻松达95\%的础，在未经过调优的情代

򒛏;5;9;5;5;;;;2;9;5;7;ዻ;;&;#;3;52;5;4;5;;;&;c;o;n;v;;;&;#;5;5#;5;7;;;;5;9;8;;;路和卷积网;;;&&;#;;5;9;;;&#;5;6;;&;#;2;1;;;.;7;9;%;;2;12;1;4;9;0;zhang，yan෧25;1;;;&;#;;&;#&;#;2;ᘛ;ᜲ2;;;&;#;;4;8;9;;;0;;;&񽽴8;;;&;ᜲᐧ;#;5;2;;&;#;3;5;7;0;;;;;&;#;;9;8;;;5;4;;&;#;3;7;i;w򑔻5;;;&和r;o;b;f;;3;6;8&;#;5;7;6;8;;;&;#;年做出的。ᝅ在2013;&;#;5#;3;#;5;5;;;&;;3;5;;;&;#;3;0;3;&;#;3;8;;最终达到了9;9;.;#;3;2;8;0;;;&;4;9;1;;;&;;;&;#;5;6;;;;&;#;8;3;᜼;&;#;5;5ᜲe;r;g;u;s;#;3;络(ewze1;;;;;的n;，matth;l;u;t;i;o#;2;5;1;0;ᘛ;#;3;5;5;;;&;#;#;5;&;#;8;2;4;;;&;#;;;&;#;5;1;2;2;9;&;#;3;;5;;ᝇ5;;;&;#;5;9;;;3;4;0;;;#;3;;&;#;3;򅒣#;3;5;;;&iler，sixin;9;;;&;;e;t9;;;&;#;;#;3;8;2;6;1;5;9;&;#;3;8;;)之后，8;0;2;4;;;3;;&;#;5;6;򐿃񶩇;&;#;#;2;7;ᐧ;;;&;#;3;򑟢;&;#;5;4&;#;2;6;5识别率，是由l;1;0;4;0;;;#;3;2;7;在采用了深度学习�;;&;#;5;9;4;;;&o;r;k;s;;n;a;l;nnlecun，;;;&;򑖟;#;3;0的思;&;#;2;#;2;0;3;3

超越了真正的数字，这个结这样难以辨认如下人眼的识别了。些类似虑到这个数据集果是相当惊人的！它已经里还有一考

调整权重和偏置参这个过程中一步dent)。入梯度降算法(�下步数的值，就必须引gradient在

网络需要有一个训练的过实际可行的学习算法，程中，我们的神经在。来逐步调整参数

行表征。这个表达式被的，价函数(costfu们需要找到一个表达式来对这种接近程度进让网我络的实际输出与期望是而最终的目称为代nctio输出能够尽量接近。⬡

一个xx表示一个训练样本，即网络的输84个输入。入。其实代表7

(x)和a这个差值就越（以数学上的向量来输出小。;;;的时候，期望出值的接近程度。，就表征了际的输出值。y;接近，都分别代y(x;)表示当输实9;7;;;表示当实的输出值；而&;#;2它们的差的平方值和期望输越入为&;#;1;示）。而输入为x;的时候，表᜼表10个输出值际

要除有5万个。n是训练样本的数量。假练，所以设次训值是5万。因为是训练样本，那么n就多以n对所有训练样本求平均

，这个式子就可以看。在认为输入不变的情on看成是;里面。网络中所有权重w;和式子右边的w;和bc(w;，b;);的b的在a但a;是w和;;的函数。;0;;;是固上，本），不成是数。训练的时候，输入是固定值，;在进行定的（训练样函数。？实际᜾哪呢会变;&;#;1偏置&;#;9;8tfunctiy;(x)也表示法，是把cos为什么这样看呢？;;和b;的函那么，&;#;1;1;9;况下

5;;;9;;;&;#;41;9;;的表达形式如何办法降低&;#;;;&;#化ᝇ;3;8;;，0;;;&;#3񞎏值就越小。因此;&;#，它是&᜿;򐿃#򑃯b;的函数，ᝀ;ᜲ征了网络的实际򂶗4;9;;;4;0;;ᝁ，b)表;3;5;;;输出值和期;;&;#;;&;#而不管&;#;3;򑔻ᝁ9;;;&;#;;&;#;5;7;;9;;;&;#;;&;#;3#;3;򐿃;&;#;5;7;&;#;3;8;;;这就变成了一个结来说，c;(w;;，b;5;;;&;#;5;#;5;4;;;9;;;&;8;;;&;#;3;ᝄ񖹱;5;9;;;&;;&;#;9;;;&;#;;;，b;);的;&;#;5;5;;;8;;;#;3;5问题。;&;#;5;4ᝇ5;;;&;#;4;4;;;&;#;;和望输出值的接近程度;;;&;#过程#;4;的򑛋;#;1;;9;;;。越接近，，学习的过程就是想;&;#;5;5;0;;;&;#;3ᙿ;9;;;，b;)&;#;5;总;5;7;;;&;#4;9;;;;;&;#;4;;3;5;;;&求函򂶕数最小值的最优&;#;5;

数也非常较复直接进行数学上的求解⛔w，b)多，所以的形式比由杂，参常困难。，非于

们ascent)。dien科学家，计算提出了梯度下降算法机算法解决这一问题��为了利用计算机

维度而最终抵达最小值。，每次出微小的一步，从质上是在的切线贡献的方向多维空间中沿着各个向下迈这个算法本

常会图像可以在三数退到三只有两个参数的时候，现，所以人们通由于多维空间在法体，b维空间里呈现。;视觉上无它的函c;(w维空间进行类比。当)

底。这个就有可能到达谷停地滚动，最终山谷的斜坡上向下不成立。就好像一个小球在理解重新推广到多维空间内也基本

更多）会很大，导致学习过程（上万，几十万，甚至大而由于训的c(w，b)进行计算，计算量练样本的数量很，直接根据前面很慢。

下降(stochasticgrad似。tdescent)机梯度算法，是对于梯度下�降的一个近、于是就出现了随

练集用复这一过程。c习再从剩下的训算法中，每次算，直到把整个训在这个光。然后再对所有的训练集，而(不断重练集中随机选择一学习不再针一部分来计算)，下一部分来计，b是从训练集中随机选择次学w

能力。更多个层次上进行抽象iddenlaye深度神经网络多结构上的优势，络有从它有r）比浅层神经网（具有多个h

nishingg从上个世纪八九致学习过程异常缓慢碰到了梯度消失(va神但却loding们不断尝试将随机梯度下降算法经网络基本不可用。应dient)的问题，导，深度adient�r)或梯度爆发(exp网络的训练，用于深度神经十年代开始，研究人员

深度网络，用一些新的技术来训练6年开始，人们开始使术包括但不限于：不。这些技然而，从200断取得了突破

�)；用卷积网络(conalnetwo采�volut

opout)；regularation(dr𙪢

rectifiedl�ts；aruni

强的计算能力等。利用gpu获得更

接为要，它不需要我们直计算深度学习的优点显而易见：这是一种全新练过程编程。解决的问题设法和编程，而是针对训的编程方式

在统方法。以用简单的算法来解决复杂的问题，而题的正确方法，这胜过使得我们可了传且在很多领域网络训练过程中就能自己学习到解决问

而训练数据在这个过程发挥了更重复杂数据，可能远胜于的算法加要的作用：简单的算法加上复杂的上简单的数据。

不刀原则，通常深参数，这从哲学原则上整这些参数上面花费卡姆剃人们要在调巨大的精力；度网络往往包含大量的符合奥

算力和计算时间；训练深度网络需要大量的计

一种失控的过拟过术在一些重要场合的进一步应用制碍。易让人们产生惧，同时也对这项技学习过慢的问题始终困扰着人们，这容，神经网络的训练恐造了障程随着合(overfitting)问题始终伴

工智，最终逐渐统治世界的而bet一个人能程序，通过自我学习事。故♇at的故事，讲的就是

：可能。一般人认的发展，吗？这恐怕还不太概有两个重要因素那么技术生会导致这为，大种情况发，现在的人工智能

，它的自我学习然不是通用的智能特在解决第一，现在的人工智能是限定还。人们指定的定的问题，仍方式，只能学习

到网上𗼵化数据进行学t序连这也意味着，即使人工智能的训练把人工第二，现在对于智能程习。然对于数据的据，系统的acat那样对于，它也不能像过程，需要人们为其输格式要求很严格，输入输出仍互联网上海量的非结构入规整化的训练数

上两点要求它完全都能正对普通的人工智能，够做到。然而这仅但是对起源这样真生命来说，以的网络智能仅是

(本章完)(本章完