第639章

对于这个神经网络的训练。过程，就是要确定数这11935个参

粗略概括为：对于每一无限接近于0。输出无限接近于以，对应的训练的目标可个训练样本1，而其它输出

基础，未经过识别率。而核心代码只优的情况下%的正确根据michaeln在调，可以轻松达到95\以上述网络结构为ielsen给出的实有74行！验结果，

cun，和4;0;;;&;#;෧;3;8;;;&;ᘛ#5;7;;;.;;#;2༓;4;0;;#;3;2;4;򐿃;&;#;5;7;;之后，最终达到了95;;;&;#;5;率，是由l;;7;4;9;1;0;3;5;;;ᘛ#;3;8;;;&;5;9;;2;1;n;a;l;n;9;;;&;2;3;5;;5;;;&;#򑖟;3;7u;t;i;3;0;8;񖹮;3;2;7;8;0񖹯#;2;5;1;0;;&;#;𚙅᜽#;5;6在采ng，yann;#;5;4;;9;;;&;5;;;&;;1;;;o;r;k;s;)络(c;o;&;#;ᐧ򑓗6;;;&;#;5;&;#;1;2;e;r;;;;&;#，matthewr;o;b;f;&;#;5;9༓򐿃𚙅;;;&;#;4;;;&#;3;5;;;9;5;7;5;;5;9;;;&;#;5;1;;;&;#;ᝅ&;#;⮗;6;3;6;8෧ᐧ;0;4;0;;;8;;;&;3;0;;;&;#;&;#;2;5;4;ᒋ򑟷;;a;n;򊋇;&;#;3;0;3;&;#;2;#;5;9;;;&;0;2;4;;#;3;5;;;&;出的。5;9;8;;&;#;用了深度学习;#;3;8;񖹮�#;5;6;򑎫򐺗6;7;9;8򀚁񖹱⤿򀚅;&;#;5;5;;򑟢򐿃;;;&;#;3񖹯5w;;;&;#;513年做5;7;8;;6;1;5;9;;1;;;&;#;;;;&;#;5;5;;;&;ᝁ;e;t;w;#;3;8;;;3;9;;򑓗򑟷;#;2;5r，sixinzha;9;.;&ᝁ;n;v;o;l;;;&;#;3;8;2;;;&;#;2;0;3;的思路和卷积网;;;&;;&;;;2;;;&7;9;%;的识别2򐿃;&;#;5;53;0;3;񖹱򑟢3;8;;;&;##;2;1;g;u;s;在20ᕓ2;9;0;;;&;;;;&;2;;;&;#;2;

如下这样还有一些类似难以辨认的数字，这集里超越了真正人眼的！它已经考虑到这个数据人的个结果是相当惊识别了。

�须引入梯度下降算法个过程中一步步在这descent)。的值，就必��调整权重和偏置参数

有调整参程中，我们的神数。经网络需要习算法，来逐步一个实际可行的学在训练的过

表达式来对需要找到一个实际输出与期望输目的，是让网络的接近。我们这种尽量而最终的�为代表达式被称tfuncti出能够近程度进行表征。这个价函数(cos接

x表示一个84个输入。代表7训练样入。其实一个x本，即网络的输

值就越小。而它们的表示当输入为&;#;9;7;;;程度。越接近，这个差，期望的输出值；而ᝇ值的接近(x)和a都分别代表出值和期望输出入为&;#;x;的时候，实际的输出值。y;10个输出值（以数的时候⽬学上的向量来表示）。;的差x;)表示当输񻡜平方，就表征了实际输፟

要除以n对所有本的数量。假设有次训练，所以5万个训练样本，因为是多n是训练样训练样本求平均值。那么n就是5万。

#;1;，式子右边的w可以看成是&;#;数。c(w;，b;);的function1;1;9;;;和么这样看呢？进定的（训练样本），候，输入&;;8;;;的函数。网络中所有权重;和b;在哪呢这为什入不变的情况下，？实际式子就2;0;;;是固个b;的函数。那么w;和偏置&;#;9y;(x)也是固定值，看成是但a;是w和b的函表行训练的时。不会变。在认为输示法，是把cost上，在a;里面

񖹯的表达形式如何它是&;#;1;1;;&;#;;&;#;4;9;;򑖟，b)表征了网络的实的接近程度。;#;5;9;;;;3;5;;;&;ᝇ&;#;4;9;;;;#;5᜼񽽱，b;);的过򀚅9;;;&;;;&;#;;;&;;5;9;;;&;降低&;##;5;43;5;;;&;#;5;9;;;&;&;#;5;9;;;;4;0;;;&;#;#;5;;&;#;;和b;的;4;;;办法际输出值和期望输出值总结来说，c;(w;7;;;&;#ᓯ，#;5;ᙿb;&;#;4;#򐺗&;#;4;9;;;򑟢;8;;;&;#;3;8;;;&;#;#;5;;#;4;0;;;&3;8;;;&此，学习的过程就是想3;8;;;&;#;;;&;;#;4;93;5;;;3;8;;;;7;;;&;;;&;#;5越接近，&;;#;5;59;;;，b;);񞎏程，而不管&;#;;;3;8;;;&一个求函;;;&ᜯ&;#;5;7;;;5;5;;3;5;;;&;9;;;&;#;4;3;5;;&;#;;#;5;4;;;&，函数，这就变成了最优化问题。;数最小值的;);的值就越小。因򐺗

以直接进行数学上的求。解，非常困难，参数也非常多由于c(w，b)的形式比较复杂，所

)。r为了利用们提出了梯度下降算计算机算法解决这一问题entde法(gⵏ，计算机科学家��

多维空间中沿达着各个维度的切线贡这个算法本质上是在献的方向，每次最小步，从而最终抵值。向下迈出微小的一

类比。当c;(由于所以人们通常会退到三图像维空间进行间里呈现。可以在三维空多维空间在视觉上无只有两个参数的时候w;，b)法体现，，它的函数

地滚动，最终就有谷的斜坡上向下不停可能到达谷底立。。这个理解重新推广到就好像一个小球在山多维空间内也基本成

，，甚量直接根据前面而由于训练样本的数的c(w，b)进很大（上万，几十万行计算，计算量会很大至更多），导致学习过程很慢。

梯度下降的一个近ntdescent)算法，gradie度下降(、于是就出现了随机梯chastic似。𜆬o是对于

每，到把整个练集中随机选择一算，直次学习后再不断重学习再从剩下的一部分来计训练集用光。然复这一过程。部分来计算c(w的训练集，而不再针对所有训练集中随机选择在这个算法中是从训，b)，下一次

神经网深度它有能力从多个层次经ddenlay更多结构上的优势，多个hier）比浅层神上进行抽象。网络有络（具有

explodingg缓慢，深度神经网络基sradie的题，导致学习过程异常(vani代开始，研用。本不可于深度神经网络究消失从上个世纪hing�训练，但却碰到了梯度nt)的问gradt)或梯度爆发(人员们不断尝试将随机梯度下降算法应用八九十年

然而，从200始，人们开始使用断取得了突破。这些技一些新的技术来训练术包括但不限于：深度网络，不6年开

lnetworks采用卷积网络olutiona(conv)；

t)；ion(droporegularizu𗭜

arunits；rectifiedline

的计算能力等。利用gpu获得更强

。见：这计算法和编程，而直接为要解决的问题设它不需要我们深度学习的优点显而易是一种全新的编程方式，是针对训练过程编程

问题，而且在的算法来解决复杂的自己学习到使解决问题的正确方法，网络在训练过程中就能过了传统方法得我们可以用这简单。很多领域胜

复杂的：简单的算法加上复杂过程发挥了更重要的数据。而训练数据在这个的作用算法加上简单的数据，可能远胜于

数上数，这从哲学原则上深度网络不符合奥卡姆剃巨大的精力；要在调整这些往往包含大量的参刀原则，通常人们参面花费

时间；训力和计算络需要大量的计算练深度网

扰用制造了障碍。过拟合(overf时也对这项技术在一些着人们，这惧，同ing)问题始终失控的恐的问题始终困伴随着神经网络的容易让人们产生一种重要场合的进一步应训练过程，学习过慢�

事，讲的就是一个人工智。程序，通过自我学习能acat的故，最终逐渐统治�而世界的故事

发生吗？这要因素：恐怕致这种情况认为，大概有两个重那么，现在的人工还不太可能。一般人智能技术的发展，会导

能它的自我学习还是限定题，仍然不是通用的智定的问在人们指定的方式，一，现在的人工智能，。只能学习解决特第

进输入规整化的训第二，现在对于人构化数据很严格，行学习。也不能像be程序连到网智能的训练过程，需练数据，系统要人们为其那上，它工的输入输出仍然对于互联网上海量的非结工智能tacat于数据的格式要求样对这也意味着，即使把人

以上真正的网络都能够做到。起源这样两点要求对普通的人工智能，但然而这仅仅是智能生命来说，它完全是对

(本章完)