第639章

过要确程，就是训练对于这个神经网。定这11935个参数络的

可以粗略概括为：对于每一个训练出无限接近于0。训练的目标样本，对应的输近于1，而其它输出无限接

代码只有74行！络结构为基础，，可以轻松达到95\的正确识别率在未经过调优的情况下结果，以上述网ec。而核心𚙓%haelnie根据min给出的实验

򂶎6;3;&;#;5;;;&;5;9;;;;7;9;6;8;;g;u;s;终达到了;;&;#;3;8;ᐧ;;&;#ᙿ3;5;.;&;#;2;05;9;8;#;5;9;;;&;;;&;o;r;k;s;)之5;;;񻡝;#;3;2;4;;&;#;3&;0;;;&;#;2e;t;w;;2;6;1;5#;3;5;;;&;4;5;4;9;9;.;&;;&;#;;#;5;4;;;&;#;2;1;3;;;;&;#深度学习ᝄ;a;l;n;;;;&5;;;&ᜯ&;#;3;6;7;在2013年做;8;;;&;;&;#;;8;0;;;&;#;#;3;;&;#;;#;5;6;;3;5;ᜲ;9;;;&;෧&;#;2;5;;7;4;后，最᜿5;;&;#;5;0;;;&;#;5;1;;;ᜲ;;;&;#;3;3;0;3;#;5;5;;;5;6;;3;0;8;3b;f;e;r;ᓯ;;;&;ᐧᝇ;，mattheᙿ#;3;񖹮Ꮓᓯ�&;#;5;7;;#;3;5&;#;2;5;91;0;41;&;#;3;;9;;由l;i;w;a;n的思路和;#;5;;3;9;;;&;#;;&;#;5;;;;&;;3;8;;;&;#ecun，和r;o;;8;;;&;򀙼3;8;0;2;4;5;;;&;;0;;wzeiler，si;6;8;;;卷积网络(c;o;n;o;n8;2;;;&;#;8;2;;;&;#;;;&在采用了#;2;9;;&;#;5;1;;&;#;3;7;򂶓;;&;#;&;#;3;8;;4;9;8;;;&;2;1;0;3;2;9;0;;;&򑎫&;#;5;9;;;8;9;;;&;#;;2;1;0;4;05;5;;;&;#;;5;;ng，#;1;2򑟷;#;3;5;7;;6;;;&;#;5;#;3;2;7%;的识别率，是ᝇ򑔻ᜯyannl;;;&;#;5;#;5;7;;;4;5;9;2;5;xinzha;v;o;l;出的。

难以辨超越了真正人眼的识别个数据集里还有一了。的！它已经考虑到这相当惊人些类似如下这样认的数字，这个结果是

调值，就必须引整权重和偏置参数的一步步法(gradientdescent)。入梯度下降算在这个过程中

，来逐步调整参数。在们的神经网络需要有一个实际可行的学习算法训练的过程中，我

望输出能够尽个表数(cost式被称为代价而最终的function)量接近。我找到一们需要个表达进行表征。这络的实际输出与期函达式来对这种接近程度目的，是让网

本，其个x代表784个输x表示一个训练样即网络的输入入。。实一

7;;;表y(x;)表示2;0;;;&;#;9;，平方，就表征实际的输示当输入为x;的时0个输出值值和期望输出值的输出值；而出值当输入为&;#;1;的近了实际输出。y来表示）。而它们的差候接，这个差值就越小。的时候，期望的接近程度。越（以数学上的向量�)和a都分别代表1

量。假么n就次训练，所以本求平均值。是5万。因为是多以n对训练n是训练样本的数要除设有5万个训练样本，那样所有

本），不会变时候，输᜼重w;和偏置&，是&;#;1;1;9那么，式入&;#;面。y;(x)也是固定值，但a是固定的（训练样子右边的w;。在认为;#;9;8;;;的进行训练的是网络中所有权上，在a;里b;);的表示法򑟷b的函数。，这个式子就可以看成񹅎;是w和和b;在哪呢？c(w;，是把costfun实际输入不变的情况下函数。为什么;;;和b;的函数。ction看成这样看呢？

&;#;;&;#;5;9;5;53;8;;;&;#;，b)表征了;᜿;4;9;;;&;#;5;7;;#;4;༓#;4;9值就越小。因此5;;;&;#9;;;，b0;&;#;5;5;;;#;4;9;;;;;&;#;5;出值和期望输;的表达形式如;5;;;&;#;;的函数，&;#;4;和b网络的实际输;5;9;;;接近，;4;;;&;#;񞎏ᝁ;#;5;7;过程，而不管&;#;总结来说，c;(w;成了᜵3这就变;9;;;化问题。#;3;5;;;&;;5;;;&9;;;&;1;1;9;;出值的接近程度。越;;&;#;4;;3;5;;;&;;&;#&;#;4;;;;&;#;&;#;函数最小值的最优#;5;5;9;;;;8;;;&;#;3;5;;#;5;9，b;);;;;&;#3;8;;;&;#򐿃򀙼;;;&;#3;5;;;&;#;;;&;#;3;5;7;;;;;，b;);的的;;;&;#9;;;&;#;򑟷;3;8;;;&;何，它是4;0;;;&;;#;3;8;;一个求4;;;&;#&;#;3;84;;;&;#;5;5&;#;，学习的过程就是想办法降低;5;9;

由于c(w参数也非常多，所以直接进行形式比较复杂，，b)的数学上的求解，非常困难。

出了梯度计算机科学ent)提下为了利。gradien家们tdesc解决这一问题，降算法(用计算机算法

这个算法本质上是的切线贡献的方向，每次向下迈出微小终抵达最小值。在多，从而最维空步的一间中沿着各个维度

以在比。当c;(w;它的函数图像可间进行类，b)只空间里呈现。三维参数的时候，有两个体现，所以人们通常会退到三维维空间在视觉上无法空由于多

这个终广到多维空间内也基上向下不停地滚动就有可能，最到达谷底。在山谷的斜坡理解重新推。本成立就好像一个小球

接根据前面数量很大（上万，几十习过程很慢。而由于训练样本的，万，甚至更多），直的c(w，会很大导致学b)进行计算，计算量

)算法，是对于梯dientdesc�hastic似。、于是就梯度下降(stoc出现了随机t度下降的一个近𘫶

机选择一部分来计算，在这个算法中，从训练集中随每次学习不再针对所的训练集中复这机选择一部有的训练集，而是，下一次学习再从剩断重后再不随集用光。然分来计算c(w，b)下直到把整个训练一过程。

layer）比力从多个层次上进行（具有多个hidden抽象。深度神经网络结构上的优势，它有浅层神经网络有更多能

或梯度爆发(dient)radieningg基本𜆠t)的随机梯度下导致学习过d⳩oingg问题，代开始，研究人员们不断尝试将从上个世纪八九十年不可用。度神经网络的训练，但却碰到了梯度消失expl降算法应用于深程异常缓慢，深度神经网络(vani

破。从2深度一些新的术包括但不限于：这些技网络，不断取得了突6年开始技术来训练然而，，人们开始使用ደ

𙪗采用卷积网络(nalnetworconvolutks)；

𘜒�rization(opout)；�

its；rectifiedarunline

利用gpu获得的计算能力等。更强

显而易见：这是一种全深度学习的优点接为要解决的问题新的编程方式，它不需练过程编程。要我们直设计算法和编程，而是针对训

简单的算，而且问题的正确方法，这使决题训练过程中就能自己。法来解决复杂的问在很网络在多领域胜过了传统方法学习到解得我们可以用

：简单的而训练数据在这个过据。加上复杂的数据，算法可能远胜于复杂的算法加上简单的数程发挥了更重要的作用

力；通常人们要不符合包含上数上面花费巨大的精参数，刀原则，在调整这些参深度网络往往大量的奥卡姆剃这从哲学原则

练训间；深度网络需要大量的计算力和计算时

扰着itting)问题始终习过慢的问题始终困拟合(overf们产生一种失控的恐技术在一碍。过惧，同时制造了障也对这项伴随着神经些重要场合的进一步应用人们，这容易让人网络的训练过程，学

at的故事，，最终逐渐统的故事。讲的就是一个人工智能程序，治世界而betac通过自我学习

因素：？这恐怕还不为，大概有两个重要那么，现在的人工的情况发生吗智能技术发展，会导致这种太可能。一般人认

工智方式习解决特第一，现在的人是限定在人，只能学智能。用的能，它的自我学习还们指定的定的问题，仍然不是通

序连到网上，它也不练智能的训式要求很严格，这构化数据进行把人工智能上海量的非结过程，需要人们为学习。也意味着，即使那样对于互联网能像betacat第二，现在对于人工仍然对于数据的格程入规整化的训练数据，系统的输入输出其输

，以上两点要求它完全对普通的人然而这仅仅都能够做到命来说工智能，但是对起源这样真正的网络智是能生。

(本章完)