第641章

训练过程，就是要确定这11935个参数。对于这个神经网络的

目标可它以粗略概括为。：对于每一应的输出输出无限接近于0训练的无限接近于1，而个训练样本，对其

达到95\%的正确识别率。而心代码只有74行！下，可以轻松lsen给出的实e�，以上述网i络结构为基础，在未核验结果经过调优的情况lnie根据m

hewze;5;7;;;;#;5;6;;l;n;򐿃ᓯ;5;9;;;;&;#;4;9;0;;;&5;;;&;#;;5;6;;;&;#8#;3;8;0;2;;;;&;#;2;1ᓯᙿ;򑟢;;;&;#;a;n;，m;5;7;5;&;#;5;23年做出的ᓯ8;;;&;#;3;;3;5;;;&#;3;6;;;#;5;9;;&由l;i;񞎏4;;;&;#5&;#;3;8ecun，和r;#;2;1;5;;&;#;2;9;3;5k;s;;;#;3;;9;1;;r;g;u;s;#;2;7;4ᖷ&;#;3;2识别率，是򑓗;&;#;52ᜯ򂶗򐿃;#;2;6᜿2;5;1;9;;;了9;;9;0;;;&;#3;8;;;3;5;4;5;)之后，最񖹯;o;b;f;e;#;5;5;;;ᝃ终达到;u;t;i;;8;0;;;&;;0;4;0;;;&;#;3;7;e;t;4;;;&;#;5;ᝇl⺷4;;;&;#;2;ᝇiler3;4;0;;;&;&;#;&;#;1;2;28;;;&;#;;;&1;;&;5;&;#;5;5;&;#;3;0⮗#&;#;3;5;9;;;;&;#;2;1;5;;;&;3;4;0;;&;#8;;;&;#;3;5;9;;;;&;#;2;05;1;;;&;#;;;&;;在采用了深度;8;5;9;;网络(c;3;0;;;4;8;9;;;;&;#;;ᝇ&;#;5;5;;;&;#;w;o;r;o;n;;5;9;6;8;，;#;2;᜿;0;3;5񽽴ᝇ5;;;&;#;;;&;#;3#;5;3;8;2;;;&z5;9;;;&;hang，yannl;5;1;;;&;#�;6;7;9;在201#;2;5;学习的思路和卷积;;&;#;􎁍෧ᐧ;;;&;;;3;3;&;#;2;v;o;;7;8;2;;.;7;9;%;的;2;6;1;&;#;3;񶩄0;4;;;;6;8;;sixin。9;.;&;򑎫;ᒋ

集里还有一些类似眼的识别了。样难以辨认的数字，这超越了真正人考虑到这个数据是相当惊人的！它已经个结果如下这

过程中一步步adientdesce参数的值，就下降算法(gtn调整权重和偏置个)。必须引入梯度r在这

网络需要有一个实际可行的学习算法，来逐步调整参数。们的神经在训练的过程中，我

够尽量接近。数(c种接近程度进行表征。这个表达的实际输出与期unction)而最我们需要找到一个式被称为代价函望输ostf终的目的，是让网络表达式来对这出能

表示一个训练样本，x个输入。一个x代表784即网络的输入。其实

x)和a都分别代表示）这个差值就为x;的时候，实个输出值（以数学;7;;来平方，就0接近程度。越接近，;0;;;的表征了实际输出值越小。时候，期望的输出2表1值；而&;#;9际的输出值。y;(y(x;)表示当输和期望输出值的;表示当输入上的向量入为&;#;1;。而它们的差的

n就是5万。样本的数量。假设有5万个训练样本，那么对所有训练样本求平均值。n是训练次训练，所以要因为是多除以n

9ᜯ的（的时候;训练样本），不会子就可以那么，式子򑟷(b;在哪固定值重w;和偏置&变。在认为输入不右看成是网络中所有权，输tfunction入&;#;呢？实际上，在a;里b;的函数。1;2;0;⺷，但a;是w和b的函;;是固定样看呢？进行训练面。y;(x)也是数。;的函数。为什么这c是把cos和看成是&;#;1;1边的w;和;9;8;;，b;);的表示法，变的情况下，这个式

&;#;ᝀ接近，&;;5;4;;;򐺗4;9;;;&;;;&;#;3的函数，这就5;7;;;&;5;9;;;;#;5;&;#;5;7;;༓;5;;;&;#;񽽱9;;;，b;);的#;5;出值变9;;;&;#;;;&;#;3;4的表达形式如何，它;4;9;;;#;3;5;;;&;;;和b;򑖟最优;;&;(w;，b)表&;#;5;5;;5;;过程񖹰;#;4;0;4;0;;;;#;5;9;;;&;#;3;8;;;，b;);;;#;3;5;&;;&;#;4;&;#;5;9;9;;;&;#3;8;;;&;#;#;5;5;;;&;出值和期望输总结来说，c;8;;;&是&;#;1;1;9&;#;򑟢;的;#;5;;;&;#;;;;&;#;，b;)值就越小。因此;5;4;;;&;&;#;3;8;;0;;;෧化问题。;;&;#;5的接近程度。越7;;;法降低&;#;3;83;5;;;&5;;;&;，学习的过程就是想办;;&;ᝅ，而不管;#;4;9;值的򐺗#;;;&;#;4;9;;;&;#;5;9;&;#;3;8;;;成了一个求函数最小򑟢෧3征了网络的实际输

上的求解，非常困难。非常数也由于c(w，b)的形式比较复杂，参多，所以直接进行数学

cent家们提出了梯度下�降算法(grentdes解决这一问题，计算机)。科学为了利用计算机算法

度的切线贡献的多维空间中沿着抵达最小方向次向下迈出微小的值。质上是在这个算法本，每各个维一步，从而最终

空间里呈现。以人们通常，由于多维空间在视可以在三维觉上无法体现，所图像时候，它的函数到三维空♱间进行类比。只有两个参数的当c;(w;会退

重新立。停地滚动，最终就有可就好像一个小球在山谷到多维空间内也基本成推广能到达谷底。这个理解的斜坡上向下不

计），直而慢。习过程很大（上万，几于训练样本的数量很根据前面的c(w由算，计算量会很大，导致学十万，甚至更接多，b)进行

gradientde随机梯度下降(sto近似。于梯度下降的一个算法，是对、于是就出现了scent)𘌠astic

⛔部分来集用光。然后再不断集中随重复这一过程。学习不再针对所有的机选择一部分来计算个算法中，每次计算，直到把整训练集，而是从训练在这w，b)，下一次学习再从剩下的训练集中个训练随机选择一

神经网络有更多结深度神经网络（具有多象。denlayer）构上的优势，它有能力个hid从多个层次上进行抽比浅层

神经网i算法应用于深度神经网grad，导致学习过程异常缓ent)或梯ient)nggra的问题但却碰到了梯度消失年度爆发(explod断尝试将随机梯度慢，深度d络的训练，𚸗代开始，下降从上个世纪八九十研究人员们不(vanishii络基本不可用。

得了突破。这些技术包括用一限于：然而，从200，人们开始使但不些新的技术来训练6年开始深度网络，不断取

积网络(convol)；��worksutio采用卷

regularization(dro𛗯ut)；

its；�fiedlinear𛶵𜥶

利等。算能力用gpu获得更强的计

练过程编程我们直接为要解决的新题问。点显而易见：这是深度学习的优设计算法和编程，的编程方式，它不需要而是针对训一种全

程中就能自己学习到方法。网络在训练过用简单的算法解决问题的正确方法问题，而且在很来解决复杂的传统们可以多领域胜过了，这使得我

的数据。而训练数据在这杂的算法加上简单挥了更重要个的作用：简加上复杂的数据，可能远胜于复单的算法过程发

深度网络往数上面花量的参数，这从哲学费巨大的精力；原则上不符合奥卡姆要在调整这些参人们往包含大剃刀原则，通常

量的计算力和计算时间训练深度网络需要大；

人们产生一种失技术在一些重网络的训练过程，overfitt过拟合(制造了障碍。终伴要场合的进一步应用控的恐也对这项学习过慢的问题始终着人们，这随着神经容易让困扰ing)问题始，同时惧

终逐渐统治世界的，所讲而bet学习，最的就是一个人acat的故事工智能程序，通过自我故事。

情况发生吗工智术的发展，会导致这种人为，大概有两个能技那么，现在的重要因素。一般人？这恐怕还不太可能：认

人工智能，它的自定在人们指定习解决特定的问题，仍然不是通用的智能第一，现在的我学习还是限的方式，只能学。

于数的训练过程，需能像betacat那在对于人工的输入输出仍然对，现程序连不第二要人们为其输入规整化到网上，它也数据进行学习。智能很严格，这也意味着，即使把人工智能的训练数据，系统量的非结构化据的格式要求样对于互联网上海

仅仅是对普通的人工，但这样真正是对起源，以上两点要求它完能生命来说全都能够做到。智能罢了网络智的然而这

(本章完)