如何学习神经网络范文篇1

关键词：股指预测；均方差；删剪算法；神经网络

中图分类号：TP183

文献标识码：A

近年来，研究人员在利用神经网络预测股指方面做了大量研究，一则因为股指的变化受到许多因素的影响，具有时变性、突发性，是一个典型的非线性动态系统；二则因为神经网络是一种仿大脑信息处理的模型，是由大量简单单元――神经元相互连接而成的自适应非线性动态系统，具有很强的非线性概括能力，在时间序列分析、信号处理、模式识别和控制等不同的领域均得到了很好的应用［1］。所以将其应用到股指预测不失为一种好的方法，而且也有着重要现实意义。研究人员利用不同的神经网络模型和算法进行股票预测，其中有许多取得了较好的结果。但是多数的研究集中在BP算法［2］、径向基函数［3］、遗传算法［4］、支持向量机（SupportVectorMachine,SVM）［5］及其他们的改进算法。这些算法存在着种种缺点和不足：BP算法容易使网络学习陷入局部极小点，而且学习步长以及在中间层的选择上有很大盲目性；径向基0（RadialBasisFunction,RBF）网络在如何选择最佳的中心矢量以及中心矢量的个数方面存在困难，SVM适宜于小样本的情况，但是它和RBF一样还存在着核函数的选择问题，选择什么样的核函数才最好，至今没有人研究；遗传算法虽然是全局寻优，但是基于编码的遗传算法在进行编码时，随着时间序列周期(或技术指数或影响股指变化的因素数目)的增加，容易造成编码急剧增大，导致网络学习训练过程过长

在构建神经网络模型过程中，选择什么样的学习算法以及如何寻找最佳的网络结构一直是决定能否得到高精度预测的关键所在。特别是网络拓扑结构的选择非常重要，不恰当的结构或导致推广能力很差，对于没有训练学习过的模式没有好的预测精度，或导致训练学习过程中收敛速度很慢甚至可能无法收敛。开始的研究只有依靠经验不断的摸索，具有盲目性。本文则提出利用一种基于自适应训练及删剪算法的神经网络模型对股指进行预测。首先在初次训练阶段，采用基于递归最小方差（RecursiveLeastSquare,RLS）的自适应训练算法，以便使网络获得先验知识，然后再利用删剪算法删除隐藏层中及输入层中冗余的神经元，以获得最佳的网络拓扑结构，以提高网络的推广能力，降低网络再学习时的计算复杂度。接下来再对删剪后的网络进行再学习，以达到检验网络结构是否得到优化的目的，并同时经过再学习得到最佳的网络模型。最后是预测阶段，对没有训练学习的模式进行预测或者对未来的股指进行预测。由于利用删剪算法对网络结构进行优化，所以即使选用较小的学习步长，网络再学习阶段的收敛速度也很快。与无删减模型相比，该模型不仅能够提高训练速度，而且也减少了初始参数，更重要的是提高了预测精度，均方误差达到8.7961×10-5。

1网络结构及算法

1.1网络结构

由于前馈型神经网络具有可任意逼近非线性连续函数的学习能力和对杂乱信息的综合能力，所以基于前馈型神经网络的时间序列预测方法是目前最好的一种预测方法。这里网络模型采用抽头延迟神经网络(TappedDelayNeuralNetwork,TDNN)，其结构如图1。

是一个三层前馈型网络，网络的输入是经过延迟的时间序列，输出神经元采用线性激活函数，网络的输入和输出的函数关系为：

本文所用符号的含义定义如下：

X(n-1)：是第n-1时刻的输入矢量。

wnij(t)：神经元(n,j)(第n层第j个神经元)与(n+1,i)之间的互连权重；

式中w=［(w1)T,(w2)T］T是把所有权重排成一维矢量。

θ：输出神经元的偏置。

1.2递归最小方差(RLS)自适应训练算法

对于TDNN模型，互连权重w可以看作是一个稳定的非线性动力学系统的状态，假定输入第n个训练模式，则网络应满足下列静态方程：

估算的权重(n)应使下列误差函数为最小：

式(3)中的λ是遗忘因子，满足0

其中:H(n)=h(w)ww=(n－1)

为梯度矩阵。采用一级近似，系统的静态方程(2)可以近似为线性系统，由此得到估算(n)的递归方程［9］：

(n)=(n－1)+K(n)(d(n)－h((n－1)))缺一个右括号(5)

K(n)是增益矩阵，P(n)是RLS算法中的协方差矩阵。(0)、P(0)可根据先验知识确定，若无任何先验知识，可取

其中，δ是一个大于0的小量。

1.3删剪算法

1.3.1删剪中间层

在神经网络研究中，除了寻找适当的权重，另一个重要的问题就是如何确定适当的规模，规模过大时，虽然其收敛速度快，但推广能力很差；规模过小，就有可能无法收敛。解决这一问题的有效方法之一是权重删剪法。结合上述RLS算法，当输入第n个训练样本后，定义网络的能量函数为：

依据经典权重删剪方法［6］，假设协方差矩阵的初始量为一对角矩阵P(0)=δ－1I，其中I为单位矩阵，δ>0，那么权重变化Δ引起能量的变化为：

权重wj的重要性由下式计算：

其中(∞),P(∞)为网络收敛后的权重和协方差矩阵，［P(∞)－1］jj表示P(∞)－1的第j个对角元素。

基于以上公式，删剪过程如下：

(1)首先利用RLS算法训练网络，得到收敛时的权重

w(∝)、协方差矩阵P(∝)和能量E，然后根据(11)式对所有权重的重要性进行估算，并按其重要性从小到大进行排列，设排列的序号为{πi}，满足ΔEπm≤ΔEπk(m

通过(10)可估算由于权重wπ1到wπk′的删剪所引起的能量变的ΔE；

(3)如果ΔE≤αE（其中0

值得指出的是，对于三层前馈神经网络，若只有一个输出单元，则删掉一个隐藏层到输出层的权重，等于删掉了一个隐藏层神经元，从输入层到该隐藏层单元的权重也将全部被删除。因此，删剪算法可起到删除隐藏层神经元的作用。

通过删除隐藏层神经元，可使再学习的计算复杂度降低。根据文献［7］，对于单输出的三层网络，设删剪前后隐藏层单元的数目分别为H0、H1（H0>H1），则计算复杂度之比为（H1/H0）2。

1.3.2删剪输入层

在利用删剪算法将中间层神经元优化后，设输入层到中间层的权重为wij1

n为中间层的个数。将得到一组向量E=［E11，E21E31…,Em1］T,i=1,2,3…,m。m为输入层的神经元数目。然后将Ei1按从小到大的顺序排列，设

如果满足ΔE1/E1=β（后面给定），我们就可以将前面的K个较小的神经元删剪掉，也即将k个较小的Ei1删剪掉。这样经过对中间层以及输入层单元的删剪，达到了优化网络结构的目的，而删剪的依据则是上述删剪算法，因此与盲目的选择网络结构相比该方法更富有科学性和针对性。

2计算机仿真实现

2.1网络的学习训练

我们采用上证指数2001年3月23日至2003年12月17日期间的650个日数据作为样本。从650个数据样本中抽取前300个作为训练样本，第301~500个样本作为再学习时的学习样本，501~650作为预测样本。首先对样本数据进行初始化处理：

TDNN网络的初始结构为：12151，即网络的输入层有12个神经元，隐藏层有15个神经元，输出层为1个神经元。采用RLS算法先对网络进行训练，权重初始值为：(0)=［0,0,…,0］T，P(0)=60×I;遗忘因子λ=0.999。由表1可见网络的均方差（MSE：meansquarederror）为：1.4142×10-4，均方误差定义为：MSE=∑ne2(n)/N，平均收敛次数为36次，RLS算法的收敛速度较快。

2.2删剪算法

2.2.1中间层的删剪

根据式(11)对权重按其重要性进行排序，然后将前面一些不重要的权重删掉。图2为能量与权重删剪数目的关系曲线，由图可以看到前面130个权重相对不重要，对应的ΔE=1268。其中10个为隐藏层到输出层的权重，由于输出层只有一个神经元，所以意味着删去了10个隐藏层单元，因而网络结构变成1251，这样使得再学习阶段的计算复杂度下降到网络删剪前的（5/15）2=0.1111，这表明该删剪算法能有效删除不重要的权重，从而优化网络的拓扑结构。为便于比较，模拟时取不同的(E进行删剪。由表1可见，删去了10个隐藏层单元（对应于ΔE=1268）时，输出均方差最小。

为进一步证明删剪算法对网络结构优化的有效性，我们利用相同的数据和RLS算法，对网络结构分别为1291，1281，1261，1251，1241模型也作同样训练，再学习和预测，预测结果同样表明1251结构具有最好的预测精度，其预测误差为9.7160×10-5。

2.2.2输入层的删剪

经过对中间层单元的删剪，网络结构变成1251，在此基础上，我们再对输入层单元进行删剪，依据（12）式ΔE1/E1=β，当β=0.2时，i=6也即当输入层删剪掉6个时，网络的预测误差最小。由表2可知，经过删剪优化后，在后来的再学习及预测阶段，其计算复杂度也降为原来的0.1111/2=0.0556。网络的预测精度都较未删剪的网络预测精度高，此时的预测误差等于8.7961×10-5。

2.3再学习

用第301~500个样本对优化的网络结构进行再学习，一则检验删剪后的网络结构是否得到优化，二则让网络再次获得先验知识，使得网络具有最佳权重，以期在预测时得到更高的预测精度，从表1和表2的比较结果可以看出，两个目的都得到了实现。

2.4预测

最后利用再学习后的网络结构对第501~650个样本进行预测，为有效地证明通过图2可正确自适应地选择最合适的ΔE=1268以删除合理的权重数目，得到最佳网络结构，我们对不同的ΔE进行了仿真模拟，结果如表1所示，可以看到ΔE=1286所对应的网络结构为1251时网络预测的均方误差最小为9.7160×10-5。再对输入层进行删剪后，网络的预测均方误差变为8.7961×10-5，网络的预测曲线如图3所示。

如何学习神经网络范文篇2

您好!

我是来自XXX大学网络工程师专业的大强。本人在大学期间积极参加各种社会实践活动，担任学校多个单位的职位。从中我不仅认识到了团队精神的重要性，还学会了如何做人，明白了做人要厚道的道理，同时我还学会了如何和人交流沟通。可以说，我的大学生活很充实，这可以算是我人生的转折点和飞跃点。

大一到大三期间，我在计算机中心担任网络管理员，主要负责机房网络和工作站的日常维护工作，还负责机房财务收支管理工作。在这三年里，我不仅学到了有关硬件和网络管理方面的知识，为我精通计算机硬件和网络工程提供了可能。我还认识到了团队精神和诚信的重要性，我懂得了如何和服务对象相处，如何同伙伴协同工作。

大三到大四期间，我任职公共外语教学部办公室助理，从中我学会了如何才能适应每天繁琐、大量重复性的工作，学会了如何和其他人沟通交流，学会了如何和领导相处。

学习方面：大学期间我熟练掌握了计算机故障修复、网络维护、网络组建、网站开发、网页制作方面的技能。严谨的学风和端正的学习态度塑造了我朴实、稳重、创新的性格特点。2007年11月，我参加了“全国计算机技术与软件专业技术资格(水平)-网络工程师的考试，并有望拿到证书。即使如此我也没放松自己的专业--电气工程及其自动化课程的学习，这位我的综合知识和技能的提高提供了可能。

大学期间我还拿到了计算机等级考试考生--三级网络技术、英语四、六级考试的证书，这对我以后在工作中继续学习、发展奠定了坚实的基础。从刚进许昌学院时，对计算机知之甚少到现在同学公认的“计算机高手，在计算机和网络方面的技能真的可以说是突飞猛进，这充分证明了我的学习认知潜力、可塑性和我对计算机和网络的强烈的兴趣。

根据大学四年的工作、学习经历，我有信心做好网络工程师这个工作，同时我也相信自己在以后的工作生活中能切实的发扬团队精心和吃苦耐劳精神。网络工程的方面技术可以说日新月异，我也相信自己对技术和应用的学习能力。所以我完全有信心、用能力胜任这一职业。

希望领导考虑我的求职请求，我保证不会让你失望。

郑重地提一个小小的要求：无论您是否选择我，尊敬的领导，希望您能够接受我诚恳的谢意!

最后，衷心祝愿贵单位事业发达、蒸蒸日上!

此致

如何学习神经网络范文篇3

关键词：神经网络；VC维；数据挖掘

中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)30-0710-02

AReviewoftheResearchandDevelopmentoftheArtificialNeuralNets

WANGHui

(XinjiangPetroleumInstitute,Urumqi830000,China)

Abstract:Thispaperreviewsthehistoryandthecurrentsituationofthetheoryofneuralnets.Itdiscussestwoaspects:theVapnik-Chervonenkisdimensioncalculationandthedatamininginneuralnets.Italsotouchesuponsuchresearchareasascalculationtheory,methodsandapplicationofneuralnets.

Keywords:neuralnets;Vapnik-Chervonenkisdimension;DataMining

1引言

本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年McCulloch和Pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算的函数，这标志着神经网络学科的诞生。

2发展历史及现状

2.1人工神经网络理论的形成

早在40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中，神经生物学家McCulloch提倡数字化具有特别意义。他与青年数学家Pitts合作[1]，从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。50年代初，神经网络理论具备了初步模拟实验的条件。Rochester，Holland与IBM公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟Hebb的学习规则，在IBM701计算机上运行，取得了成功，几乎有大脑的处理风格。但最大规模的模拟神经网络也只有1000个神经元，而每个神经元又只有16个结合点。再往下做试验，便受到计算机的限制。人工智能的另一个主要创始人Minsky于1954年对神经系统如何能够学习进行了研究，并把这种想法写入他的博士论文中，后来他对Rosenblatt建立的感知器(Perceptron)的学习模型作了深入分析。

2.2第一阶段的研究与发展

1958年计算机科学家Rosenblatt基于MP模型，增加了学习机制，推广了MP模型。他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。他提出的感知器模型，首次把神经网络理论付诸工程实现。1960年Widrow和Hoff提出了自适应线性元件ADACINE网络模型，是一种连续取值的线性网络，主要用于自适应系统。他们研究了一定条件下输入为线性可分问题，期望响应与计算响应的误差可能搜索到全局最小值，网络经过训练抵消通信中的回波和噪声，它还可应用在天气预报方面。这是第一个对实际问题起作用的神经网络。可以说，他们对分段线性网络的训练有一定作用，是自适应控制的理论基础。Widrow等人在70年代，以此为基础扩充了ADALINE的学习能力，80年代他们得到了一种多层学习算法。

Holland于1960年在基因遗传算法及选择问题的数学方法分析和基本理论的研究中，建立了遗传算法理论。遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法，从而开拓了神经网络理论的一个新的研究方向。1976年Grossberg提出自适应共振理论(ART)，这是感知器较完善的模型，即superrised学习方式。本质上说，仍是一种unsuperrised学习方式。随后，他与Carpenter一起研究ART网络，它有两种结构ART1和ART2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征，一般认为它是一种先进的学习模型。另外还有Werbos提出的BP理论以及提出的反向传播原理；Fukushima提出了视觉图象识别的Neocognitron模型这些研究成果坚定的神经网络理论的继续研究。

2.3第二次研究的高潮阶段

Hopfield于1982年至1986年提出了神经网络集体运算功能的理论框架，随后，引起许多学者研究Hopfield网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展。1983年Kirkpatrick等人先认识到模拟退火算法可应用于NP完全组合优化问题的求解。这种思想最早是由Metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的接受准则。这是一种很有效的近似算法。1984年Hinton等人提出了Boltzmann机模型，借用统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首次表明多层网络是可训练的。Sejnowski于1986年对它进行了改进，提出了高阶Boltzmann机和快速退火等。

1986年Rumelhart和McClelland合著的ParallelDistributedProcessing:ExplorationintheMicrostructuresofCognition两卷书出版，对神经网络的进展起了极大的推动作用。它展示了PDP研究集团的最高水平，包括了物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。他们建立了并行分布处理理论，主要致力于认知的微观研究。尤其是，Rumelhart提出了多层网络Back-Propagation法或称ErrorPropagation法，这就是后来著名的BP算法。

2.4新发展阶段

90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题已取得了突出的成果，它是一个重要的研究领域。1990年Narendra和Parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP参数在线调节方法。尤其是进化计算的概念在1992年形成，促进了这一理论的发展。1993年诞生了国际性杂志EvolutionaryComputation。近几年它成为一个热点研究领域。1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解问题的目的。

从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最大机会。90年代神经网络理论日益变得更加外向，注视着自身与科学技术之间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具。

3神经网络的发展趋势

3.1神经网络VC维计算

神经计算技术已经在很多领域得到了成功的应用，但由于缺少一个统一的理论框架，经验性成分相当高。最近十年里，很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题。PAC(ProbablyApproximatelyCorrect)学习模型就是这样一个框架。作为PAC学习的核心以及学习系统学习能力的度量，VC维(Vapnik-Chervonenkisdimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用。如果可以计算出神经网络的VC维，则我们可以估计出要训练该网络所需的训练集规模；反之，在给定一个训练集以及最大近似误差时，可以确定所需要的网络结构。

Anthony将VC维定义为：设F为一个从n维向量集X到{0,1}的函数族，则F的VC维为X的子集E的最大元素数，其中E满足：对于任意S?哿E，总存在函数fs∈F，使得当x∈S时fs(x)=1，x?埸S但x∈E时fs(x)=0。

VC维可作为函数族F复杂度的度量，它是一个自然数，其值有可能为无穷大，它表示无论以何种组合方式出现均可被函数族F正确划分为两类的向量个数的最大值。对于实函数族，可定义相应的指示函数族，该指示函数族的VC维即为原实函数族的VC维。

3.2基于神经网络的数据挖掘

1996年，Fayyad、Piatetsky-Shapiro和Smyth对KDD(KnowledgeDiscoveryfromDatabases)和数据挖掘的关系进行了阐述。但是，随着该领域研究的发展，研究者们目前趋向于认为KDD和数据挖掘具有相同的含义，即认为数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识。

数据挖掘的困难主要存在于三个方面：首先，巨量数据集的性质往往非常复杂，非线性、时序性与噪音普遍存在；其次，数据分析的目标具有多样性，而复杂目标无论在表述还是在处理上均与领域知识有关；第三，在复杂目标下，对巨量数据集的分析，目前还没有现成的且满足可计算条件的一般性理论与方法。在早期工作中，研究者们主要是将符号型机器学习方法与数据库技术相结合，但由于真实世界的数据关系相当复杂，非线性程度相当高，而且普遍存在着噪音数据，因此这些方法在很多场合都不适用。如果能将神经计算技术用于数据挖掘，将可望借助神经网络的非线性处理能力和容噪能力，较好地解决这一问题。

4结束语

经过半个多世纪的研究，神经计算目前已成为一门日趋成熟，应用面日趋广泛的学科。本文对神经计算的研究现状和发展趋势进行了综述，主要介绍了神经网络VC维计算、基于神经网络的数据挖掘领域的相关研究成果。需要指出的是，除了上述内容之外，神经计算中还有很多值得深入研究的重要领域，例如：与符号学习相结合的混合学习方法的研究；脉冲神经网络(PulsedNeuralNetworks)的研究;循环神经网络(RecurrentNeuralNetworks)的研究等；神经网络与遗传算法、人工生命的结合；支持向量机(SupportVectorMachine)的研究；神经网络的并行、硬件实现；容错神经网络的研究。

参考文献:

[1]McCullochWS,PittsW.ALogicalCalculusoftheIdeasImmanentinNervousActivity,BulletinofMathematicalBiophysics,1943.

[2]N.维纳著，郝季仁译，控制论，科学出版，1985.

[3]VonNeumannJ.TheGeneralandLogicalTheoryofAutomata,CerebralMechanismsinBehavior;TheHixonSympsium,1951.

[4]HebbDO.TheOrganizationofBehavior,NewYork:Wiley,1949.

[5]陈世福，陈兆乾.人工智能与知识工程[M].南京:南京大学出版社，1998.

[6]SimonHaykin.神经网络原理[M].机械工业出版社（第二版），2004.