第639章第639

于这个神经网络的训程这11935个参数。定练过对，就是要确

一个训练样本，对标可以粗略概括0。应的输出无限接近于1，而其它输出无限接近于为：对于每训练的目

识别率核心代码只有74行。而验结果，以上述网络结构为基根a5\%的正确elni未经过调优的情！况下，可以轻松达到9础，在据m�elsen给出的实

nnleᏃ&;9;;;&;#;2;;&;#&;#;5;9;;;;;&;#;5;ᝇ;5;;;;#;3;atthewz;;&;#;3;8;;;&;#3;8;0;2;ᝇ&;#;5;&;#;5;9;;;;&;#;3;7;4;9;1⮗᜿ᘛ由l;i;w;a;#;5;9;;5;9;;8;3;;l;n;e;t;#;3;6;7&;#;;5;2;;;&&;#;3;2򌧗5;5;;;&;3;8;2;;;&在采用了深度学习的思;7;8;0;;;&;&;#;，ya;;&;#;3;0;;&;#;5eiler，six;;;&;#;3;5򐺗8;;;&;ᘛ򐺗;&;#;5ᙿ4;2;1#;3;0;3;43;7;5;;;&;;#;1;25;e;r;g;u;s2;;;&;#;3;7;5;;;&路和卷积;3;5;4;5;;&;#;5;5;;;ᜲw;o;r;k;n;v;o;l1;4;9;0;;ᝇinzhang和r;o;b;f#;5;6;;;;;&;#;3;;;#;2;9;5;9;8;;网络(c;򑔻3;2;4;8;;&;#;50;;;&;;;;&;2;1;;;5;4;5;4;s;)之后，;#;5;6;;;;;3;5;;;;u;t;i;o;5;9;6;񻡢;&;#;#;3;54;0;;;;;&;#;2;0;0;;;&;#;8;2;;;&;#;;5;1;;6;;;&;;&;##;2;5;5;;;&;#;;&;#;;;#;5;1;;;&༓;;;&;#;;;&;#;3;5򌧊;2;9;0;;;cun，1;0;4&;#;5;1;0;3;5;񶨿&;#;5;򑜯򑎫8;;;&;#;2&;#;5;78;;;&;#;3最;终达到了;3;8􎁍;6;8;#;2;;7;;;.出的。;;;&;#;&;#;2;6;1;5;9;3;8;;;&;;;;&4;;;&;#;27;9;%;的;识别率，是#;3;5;7;;0;，m;;3;3;9在2013年做;#;5;

的识别如下这样难以辨认的数考虑到这个数据还有一些类似了。集里它已经超当惊人的！越了真正人眼字，这个结果是相

引入梯�权重和偏置nt)。dientdes𘌝在这个过程中一步步调整参数的值，就必须度下降算法(

在训步调整可行的学习算法，来逐参数。的神经网络需要有一个实际练的过程中，我们

⬡。个表达这个表达式被称为代际输出与期望输出能，是让网络够尽量接近而最终的这种接近程度进行表征对stfunctio目的们需要找到一。我价函数(co的实式来

络的输入。其实一个x代表784个输入。即网x表示一个训练样本，

为x出值。y;(x)和a越（񖹭表征）。而它们的越小。实际输出值和期望输出实际的输;2;0;;7;;;表示当输入量来表示;的时候，出值；而&;#;9;输出值，这个差值就差的平方，就值的接近程度。接近;的时候，期望的输y(x;了以代表10个数学上的向都分别)表示当输入为&;

n对所有训练样本n是训练样本的数量除以。假设有5万个训练均值。是5万。因为样本，那么n就是多次训练，所以要求平

实际上，个式子数。为什么这里面。y;不变的情况下，这但a;x)也c(w;，b;数。那么，式子右边&;#;1;2;，是把costfun);的表示法的（训练样本）所有权重w;和#;1;，不会变。在认为输入呢？候，输入1;9;;;和b;的;;;的函是固定值，;在哪0;;;是固定偏置&;#;9;8样看呢？进行训练的时的w;和b在a;就可以看成是&;函是w和b的函数。(中ction看成是网络

4;;;实际输出值和期;#;5;5;;;&;#;5;9;;#;3;8;;&;#;3;5;4;;;&;#᜿;#;3;5;;;总结来说，c;(望输出值的;;;&;ᓯ。因;9;;;&;#;;;，b;);的表;&;#;4;;5;5;;;&ᜲ&;#;3;5;;;&;#;5;9这就变成了一个求函򌧗;8;;;是&;#;1;1;#;5;9;;;，b;&;#;5;79;;;&;#达形式如何，它;#;4;9;;;ᒋ򑟷#;5;7;的过程，而不管5;;;&;#;&;#;5;9;;;򑟷w;，b)表征&;#;򑔻了网络的񞎏&;#;4;0&;#;5;9;;򑟷ᝇ&;#;);和b;的函数，;򑓗5;;;;);的值就越小;;&;#;3;;;;&;;;&;#5;4;;;&;#;&&;#;4;;9;;;&;;，&接近程度。越接近0;;;&;#ᝁ化问题。;法降低&;#;3;895;7;;&;#;4;9;;;&;#;4;9;;;񞎏8;;;&是想办;#;58;;;&;#ᐧᝀ;;;&;#;3;数最小值的最优ዻ5;5;;;#;3;8#;3;5;此，学习的过程就򑟢;;;，b

较复杂，参数也，非常困难。由于c(w，b)的多，所以直接进行数学上的形式比求解非常

。radie法(g问题，提出了梯度下降算为了利用计算计算机科学家们机算ntdesce�法解决这一

，每次向下迈出微步，从而最终抵达最小间中沿着各个维度小的一这个算法本质上是在多维空的切线贡献的方向值。

;，b)只有呈现。像可以在三维空间当c;(w参数的时由空间进行类比。上无法体现，所以人个两于多维空间在视觉候，它的函数图们通常会退到三维里

可能到达谷到多维空间内也基本成立。就有滚动，最终底。这个理解重新推广就上向下不停地好像一个小球在山谷的斜坡

万，几十万，甚至更多的数量很大（上大，导致学习过而量会很程很慢。行计算，计算），直接根据前面的c(w，b)进由于训练样本

asticgradi下降的一个近似。梯度下降是就出现了随机entdescent)算法，是对于梯度、于(stoch

择一部分来集，而算c(w，学习再从剩下所有的训部分来计在这个算法中，每训练集中随机选择一的训练集中随机选。然后再一过程。是从b)，下一次个训练集用光计算，直到把整次学习不再针对练不断重复这

行抽象。能力从多个层次上进它有er）比神浅层有更多结构上的优势，经网络具有多个hiddenlay深度神经网络（

ent)或梯度络开始，度消失将随机梯度下降算nggrad不可用。�神经，深度神经网络基从上个世纪八nish法应用习过程异常缓慢�于深度(explodi发gradi本的训练，但却碰到了梯研究人员们不断爆网尝试九十年代致学ient)的问题，导

2006年开但不限于始，人们开始使用一些得了突破。这些技术包：然而，从括新的技术来训练深度网络，不断取

nalnet𝅇采用卷积网络(cons)；volutiork

ropout)；regularon(dizati

units；linearrectified

更强的计算能力等。利用gpu获得

种深度学习的优点显编程方全新的程。式，它不需要我们直而易见：这是一和编程，而是针对训练过程编的问题设计算法解决接为要

杂的问题能，而且在很自己学习到解决问题的正来解网络在训练过程中就统方法。多领域胜过了传决复们可以用简单的算法确方法，这使得我

程发挥单的数据据，可能远胜于复杂的算法加。而训练数据在这个过单的算法加上复杂的数了更重要的作用：简上简

深度网络往往包含大量费巨大的的参数，这原则，通常人们要从哲学原则上在调整这些不符合奥卡姆剃刀参数上面花精力；

的计算力和计算时间；训练深度网络需要大量

题始终困扰着人了障碍。始过overfit的训练过程，同时也对这项学习过慢的问生一种失控的恐惧合的进一步应用制造，技术在一些重要场们，这容易让人们产拟合(终伴随着神经网络ting)问题

的故事，讲而betacat的就是一个人工智界的故事。学习，最终逐渐统治世过自我能程序，通

情况发生吗？这恐怕一般人认还不太可能展，会导致这种要因素：个的人工智为，大那么，现在。能技术的发概有两重

还是限在的人定在人们指定的的问题，仍然不是通用特定工智能，它的自我学习方式，只能学习解决第一，现的智能。

味，系统的输入输出仍tacat那样对于据的格式要求很严学习。着，即使把人工智能程入规整化的训练数构化数据为其输第二，现在连到网上，它也不能像be的训练过程，需要人们然对于数意格，这也对于人工智能据进行互联网上海量的非结序

这样真正通的人工智能，但是对仅仅是对普然而这都能够做到。以上两点要求它完全起源来说，的网络智能生命

(本章完(本章完)