第642章

对于这个过程，就是要确定这11935个参数神经网络的训练。

无限，而其它输出接近0。样本，对应的输出无限接近于个训练略概括为：对于每一训练的目标可以粗于1

sen给出的lniel情况下，可以根据%的正确识别率。而核构为基础，在未经过调优的实验结果，以上述网络轻松达到95\结michae心代码只有74行！

7;8;0;;;&#;3;񞎏&;#;3;习的思路和卷积򑓗3;5;7;8;3;6;7;;#;2;6;1;52;1;4;9;0;，sixin5;1;;;&;网络(c;o;n;v;2;0;3;3;6;8;;;&;#;2;1;#;5;9;;;9;;;&;򐺗13年做出的。8;;;&;#2;4;;;&;#;;l;u;tᜯ;;&;;;&;#;;9;15;;;&;#;&;#ᓯ;;;&򑖟;g;u;s;在20;的4;0;#;3;8;;ᝅk;s;)之后，在采用了深度学;&;#;;;;&;zhang，;;;&;;5;4;;;&#;3;24;;;&;;;;&;#;;2;9;5;7;5;#;5;9;8;;;识别率，是由最终达到了9;9⾥ᝇ򐺗;;.;7;9;%;;&;#;񻡧;;;&;#;1;6;3;6;#;5;4;5#;2;5;1;0;;1;;;&;#;5;5;;;&;;5;5;;;&;#;;;&;#;5;67;;;&;&;#;򑜯2;;;&;#;2;e;t;w;o;r;#;3;7;;򊋇0;8;3;0;8;;;&;#;#;2;7;4;3;0;3;;;e;r;nnlecun，򑑳;#;3;8;5;9;8;;;񻡞和r;o;b;f&;#;5;2;5;9;;&;#;5;9;;0;;;&;;3;5;;;;5;;;&&;#;3;5෧hewzeilern;，matt;5;;;&;.;&;#;;;;&;#;;;&;#;2;;#;5;5;;&;#򂶕9;;;&;6;;;&;#;5;򑟷;;&;#&;#;5;#;3;5;򑟢򑟢5;4;;;;2;5;40;4;0;;;&;#;3;2;;4;8;9;3;4;0;;1;0;3;5;;#;3;8;;2;3;;#;3;8;0;ᓯ񽽱8;;;&;&;#;3;6;;;&;#;5ᐧ&;3;0򑟢#;5;9;;;&#;5;7;i;o;n;a;l;l;i;w;a񞎏1;3;8;2;

这个，结果已经超越了真正人眼的识别了。里还有一些类似如下这样难以辨认的数字是相当惊人的！它考虑到这个数据集

dientde(gra步步调整权重和偏scent)。入梯度下降算法在这个过程中一置参数的值，就必须引

在训练的过习算法，来逐步调整参数。程中，我们的神经网络需要有一个实际可行的学

络的实际输出与期望输出能够尽量而征。这个接近。我们需要找，是让网表到一这种接近程度进行个表达式来对表达式被称为代价函数function)(cost最终的目的

个x代表784个输x表示一个入。的输入。其实一训练样本，即网络

示。越;;的时候，期望的输，实际的输出值出的向量来表值和出值；而9;7;;;表示当10个输出值（以个差值就越小。数学上期望输出值接近，这，就表征了实际输;#;1;2;0;&;#;程度输入为x;的时候）。而它们的差的平方(x)和a都分别代表。y;输入为&y(x;)表示当的接近

n是训练样对所有训练，所以要除以n均值。本的数样本求平个训练样本，那么n就为是多次训练是5万。因量。假设有5万

⛔w;，b;的w;unction;#;1;2;0;看成是网络中所x)也是固定8;;;的函数。9;;;和b;的函数#;9;时候，输入&在哪呢？实际上，在ostf有权不变的情入);的表示法，是把c就可以看成是&;#;练的a;里面。y;(值，但a;1;1;重w;函数。和偏置&;个式子是w和b的，不会变。在认和b;为输况下，这练样本）训为什么这样看呢？进行。那么，式子右边;;是固定的（训

;9;;;&;#;3;;;&;#;5;7ᜯ;3;8;#;4;ᝇ。;;#;4;0;;;&򑟷#;4;9;;;ᝇ;3;5;;最小值的最;&;#;5;5;;&;#;4;0，这就变;和b;的函优化问题度。򑎫总结来说，c;;#;4;#;35;;;ᜲ;&;#;4;;5;4;;;&;#;5程，而不管&;#;;&;#3;8;;;&的过程就是想办越接近，&;#;3;;&;#;535;;;&;8;;;&;#;9;;;&;;此，学习&它是&;#;1数b;);的过ᝁ;򌧗;8;;;&;#;3;#;3;򀚅;9;;;，b;;&;#;3;5;;;;;&;#;5;9;&;#;4;#;3;8;;;#򑟷򑔻5;7;);的表达形式如何，;7;;期望输出值;5;;;&;9;;;&ᜯᝁ񞎏ᝇ;&;#8;;;&;#;3;ᝁ;的值就越小。因;;;&的接近程;;，b;)񖹱表征了网络法降低&(w;，b)&;#;5;9;;;5;;;&;#;4;1;9;;;;;&;#;5;5;;;&;#;5;9;和&;#;;9;;;，成了一个求函数;;;&ᝅ4;;;&;#;5&;#;5的实际输出值

上的求解，非常困，所以直接进行数学式比较复杂，参数也非由于c(w，b)的形常多难。

为了利用计算机算法解gradientd梯度下降算法(escent)。提出了机科学家们算决这一问题，计

维空间的一步，从而最终中沿着各个维度的切线贡献的方向，每次向下迈出微小在多抵达最小值。这个算法本质上是

呈现。w;，b)只有两个参数的时候像可以在三维空间里，它的函数图三维空间进行类比。常会退到无法体现，所以人们通由于多维空间在视觉上当c;(

推广到多就好像一个小球在山谷滚动，最终到达谷底。成立。的斜坡上向下不停地维空间内也基本这个理解重新就有可能

习过程很慢。量很大（上万，几十万的c量会很大，导致学(w，b)进行计算，计算，甚至更多），直接根据前面而由于训练样本的数

降的一个近似。对于梯度下是escent)算法，gradientd随机梯度下降(sto、于是就出现了chastic

学习再从剩习不再针对所有的训下的训后来计算，直到把整个训一次练集中随机选择一部分练集，而是从再个算法这一选择一部分来计算c(训练集中随机在这，过程。每次学练不断重复w，b)，中下集用光。然

网络（神经iddenlayer能力从多个层次上进行网络有更多结构上的优抽象。具有多个h）有势，它比浅层神经深度

nggrad试将随机开始，研究人员梯度下降算法应用于深xplodi们不断尝鲥的训练，但却碰到了十年代s，导致学习过程𚸙从上个世纪八九异常缓慢，深度神经𙪍梯度消失(vant)的问题网络基本不可用。hinggradient)或梯度爆发度神经网络

些技术包术来训练深度网06年开始，人们开始使用一些新的技得了突破。这然而，从20络，不断取括但不限于：

采用卷onaloluti积网络()；𘌧networks𚸦

out)；arizatregulion(drop

units；ctif𙪍𛶵dlinear

力等。pu获得更强的计算能利用g

而易见：编练过程编程。程方式，它不需要这是一种全新的算法和深度学习的优点显问题设计我们直接为要解决的编程，而是针对训

网络在训练过程中就能自己学习到解决方法。们可以用简单的算法来且在很多领域得我解决复杂的问题，而问题的正确方法，这使胜过了传统

，可能远胜于复杂的作用：简单的算法加简的算上复杂的数据而训练数据在这个过程发挥了更重要法加上单的数据。

上面花费巨大的在调整这些参数符合奥卡姆剃刀原则，通常人们要精力；的参数，这从哲学深度网络往往包含大量原则上不

量的计要大训练深度网络需算力和计算时间；

verf人们易让人们产生一种失控的问题始终困扰着障碍。些重的恐惧，同时也对过拟合itting)问题始鲯这项技术在一，这容终伴随着神经网络的训练过程，学习过慢要场合的进一步应用制造了

而be人工智能程序，通过自界的故事。tacat的故事，所讲的就是一个渐统治世我学习，最终逐

重要因素：认为，大概有两个发工智能技术的发太可能。一般人展，会导致这种情况生吗？这恐怕还不那么，现在的人

，仍然不是通用的智能能学习解决特定的问题在人们指定的方式，只。在的人工智能来说，第一，以现它的自我学习还是限定

于互联网上人工智能的训练过对训练数据，系格，这也意味需要人们为其输入于数据的格式要求很严能程序连到网上，它着，即使把人工智构化数据进行程，海量的非结第二，现在对于也不能像be学习。规整化的统的输入输出仍然tacat那样对

然而这仅仅是对普通的完全都能够做正的网络。要求它智能生命来说，以但是对起源这样真人工智能，上两点到

(本章完)