神经网络反向传播过程范文

关键词：BP神经网络；Adaboost算法；入侵检测

中图分类号：TP393文献标识码：A文章编号：1009-3044(2012)12-2687-02

随着计算机网络技术的飞速发展，网络入侵检测系统成为了近几年信息安全领域研究的热点。入侵检测可以有效地维护网络安全，实现实时保护，抵制各种外部入侵、内部攻击等，弥补了防火墙的不足。网络入侵检测实际上是通过分析网络数据包，把正常数据和异常数据进行有效地分类，找出异常数据。近年来，涌现了大量的基于机器学习的网络入侵检测系统模型，如基于免疫遗传算法、神经网络、支持向量机等等的异常检测算法模型[1]。其中BP神经网络具有学习能力强、结构简洁和非线性映射能力，在网络入侵检测中得到了广泛的应用。但是由于网络数据量非常大，传统的BP神经网络模型在预测分类时往往具有预测分类精度低、模型收敛速度慢等缺陷，不能有效地找出异常攻击样本[2][3]。该文基于这些缺陷，提出了一种基于Adaboost算法集成BP神经网络的网络入侵检测方法，采用Matlab软件进行仿真实验，在KDD99数据集进行测试，实验结果表明该方法可有效提高小类样本的预测效果，降低漏报率和误报率。

1BP神经网络模型

1.1BP神经网络定义

BP神经网络是目前应用最广泛的人工神经网络之一，是一种前馈型的、有导师学习、采用误差反向传播算法的神经网络。在该模型中，信号由正向传播和反向传播两过程组成。正向传播时，数据由输入层输入传输至隐藏层，隐藏层单元处理后的结果由输出层输出，如果输出结果与输出期望不符时，进行反向传播，即调整权值对输出结果进行再次正向传播的数据处理，不断重复此过程直至输出结果与输出预期的误差在预设范围内，或者完成了预设的学习次数为止[4]。图1为BP神经网络模型。

[2]PanHao,LiXingfeng.ResearchoftheIntrusionDetectionApproachBasedontheSplit-assemblyBPNeuralNetwork[C].Proc.ofthe3rdInternationalSymposiumonMagneticIndustry&the1stInternationalSymposiumonPhysicsandIndustry.Shenyang,China:[s.n.],2004.

[3]韩力群.人工神经网络教程[M].北京:北京邮电大学出版社,2006.

[4]刘星昊.融合多数据源构建基因调控网络[D].长春:吉林大学,2010.

[5]FengrongSun,DrewMorris,PaulBabyn.TheOptimallineartransformation-basedfMRI.featurespaceanalysis[J].MedicalandBiologicalEngineeringandComputing.2009,47(11):19-29.

[6]张治国.人工神经网络及其在地质学中的应用研究[D].长春:吉林大学,2006.

神经网络反向传播过程范文

【关键词】吨煤单耗因素BP神经网络MATLAB仿真

1引言

吨煤单耗是煤炭加工企业组织生产考核指标中的一项非常重要考核内容，它指的是输送或破碎环节中每输送或破碎一吨煤所消耗的电量。吨煤单耗与系统的运行时间、煤炭输送量、原煤破碎量、线路损耗、系统故障时间以及电量结算日期等因素有着密切的关系。据统计，几年前国内多数煤炭加工企业对吨煤单耗的计算并未形成一种相对精确的预测模型。我们知道影响吨煤单耗的因素很多，而且这些因素之间并不是简单的线性函数关系，基于此种现状本文将影响吨煤单耗计算的主要因素作为BP神经网络的输入，利用MATAB仿真软件对网络进行自学习式训练，通过多次训练建立了可靠的BP神经网络吨煤单耗预测模型，并将2011年、2012年部分实际生产数据与预测数据进行了对比验证，分析结果表明该模型预测的吨煤单耗能够满足指导生产实践、控制成本的要求。

2BP神经网络预测模型的建立

2.1BP神经网络的基本原理

在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。BP（BackPropagation）神经网络，即误差反传算法的学习过程是由信息的正向传播和误差的反向传播两个过程组成。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。本文就是利用其具有较强的非线性映射特性，来预测吨煤单耗的。

2.2BP神经网络结构参数的设计

BP神经网络作为一种多层的前馈网络，根据Kolmogorov定理，对于任意给定的一个连续函数，都可以用一个三层的前馈网络以任意精度逼近，其输入层隐含层各节点之间，隐含层和输出层各节点之间用可调节的权值进行连接。本模型将选取一个三层的BP神经网络，从输入层到隐含层和从隐含层到输出层的激励函数（反映下层输入对上层节点刺激脉冲强度的函数）分别采用S型函数和线性函数。

2.3各层神经元个数及参数的确定

2.3.1网络输入层神经元个数的确定

在BP神经网络模型的设计中，输入和输出节点的多少是由具体问题来决定的。在吨煤单耗计算过程中，输入层神经元应选取对吨煤单耗计算有重要影响的几个因素：系统运行时间（h）、产量（t）、用电量（KW・h）、流程的效率（t/h）这样本模型的输入层共计有4个节点。

2.3.2网络输出层和隐含层神经元个数的确定

输出层选取吨煤单耗、流程效率作为输出层神经元。

2.4数据处理与训练样本的选择

由于BP神经网络的泛化能力更多地体现在内插功能上，对于外部数据的泛化能力很差，所以训练样本的选取对于能否通过训练得到合理、精确的模型来说是至关重要的。因此本模型选取了2010年，2011年两年内具有典型性的21组数据经过神经网络数据处理后，20组作为神经网络的训练样本，另外1组作为测试样本。本文中BP神经网络的激励函数为Sigmoid函数，这就要求网络的输入输出量均应在[-1，1]之间。对于连续值变量，我们需要进行归一化处理。本文所选的22组数据经归一处理后如表1所示（为公司数据保密此表只列出了归一处理后的相应数据）：

3BP神经网络训练及预测分析

本模型采用MATLAB神经网络.m文件格式调用BP神经网络算法traingdm函数对20组归一化后的数据进行BP网络训练，学习速率设置为0.04，训练次数设置为10000次，目标误差10-3。

4结论

综上所述，本模型能够较好的实现基于实际生产数据来预测吨煤单耗以及流程效率的功能，同时数据也表明用BP神经网络实现这一功能切实可行。通过此模型的建立我们可以通过控制流程的效率来控制吨煤单耗，从而控制实际吨煤单耗在考核指标以内，保证公司能够顺利完成全年的生产考核指标。

参考文献

[1]著作：飞思科技产品研发中心.神经网络理论与MATLAB7实现[M].北京：电子工业出版社，2006（99）.

作者简介

李忠飞（1981-），内蒙古自治区通辽市奈曼旗人。研究生学历。现为内蒙古霍林河露天煤业股份有限公司煤炭加工公司维修一部工程师、控制理论与控制工程专业电修队队长。

神经网络反向传播过程范文篇3

关键词：BP网络旋转触探仪神经网络预测训练函数

中图分类号：TP751文献标识码：A文章编号：1674-098X（2014）12（c）-0004-02

随着计算机技术的快速发展，人工神经网络在数学p物理p工程p岩土等行业得到广泛应用。Matlab软件提供了神经网络的工具箱，提供了多种神经网络库函数，为数值计算提供了计算平台。岩土工程问题的复杂多变性，在运用神经网络分析和预测时，其结果往往受各种因素的影响，关键还是网络结构的构建和训练函数的选取。因此，应该对网络的训练函数的选取进行深入研究。

该文在大量的旋转触探试验的基础上，结合土的物理性质指标含水量、干密度，土的强度参数粘聚力和内摩擦角，以及埋深情况，建立土的旋转触探模型，建立BP神经网络，采用不同的训练函数对网络进行训练。

1BP神经网络

BP网络是一种单向传播的多层前向网络，具有三层或三层以上的神经网络，包括输入层、中间层（隐层）和输出层。在人工神经网络的实际应用中，BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等，人工神经网络模型采用BP网络或它的变化形式，它是前馈网络的核心部分，体现了人工神经网络最精华的部分。BP算法的基本思想[1]是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。

2BP神经网络的训练函数

BP神经网络中的训练算法函数是根据BP网络格式的输入、期望输出，由函数newff建立网络对象，对生成的BP网络进行计算，修正权值和阈值，最终达到BP网络的设计性能，从而完成网络的训练和预测。BP神经网络几种主要的训练函数及其特点分述如下[2]。

（1）traingda、trainrp函数和trainlm函数。

traingda函数是最基本的自适应学习步长函数，其最大优点可以根据误差容限的性能要求调节函数，弥补标准BP算法中的步长选择不当问题。trainrp函数可以消除偏导数的大小权值带来的影响，只考虑导数符号引来的权更新方向，忽略导数大小带来的影响。trainlm函数。该函数学习速度较快，但占用内存很大，从理论上来说适用于中等规模的网络。

（2）共轭梯度算法：traincgf函数、traincgp函数、traincgb函数、trainscg函数。

共轭梯度算法是介于最速下降法与牛顿法之间的一个方法，其利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点。上述四种共轭梯度算法前三种收敛速度比梯度下降快很多，其需要线性搜索，对于不同的问题会产生不同的收敛速度。而第四种不需要线性搜索，其需要较多的迭代次数，但是每次迭代所需计算量很小。

（3）Newton算法：trainbfg函数、trainoss函数。

trainbfg算法的迭代次数较少，由于每步迭代都要Hessian矩阵，其每次迭代计算量和存储量都很大，适合小型网络。Trainoss为一步割线算法。它是介于共轭梯度法和拟牛顿算法的方法，其需要的存储和计算量都比trainbfg要小，比共轭梯度法略大。

上述各算法由于采用的训练函数不同，其计算速度、收敛速度及其迭代次数不尽相同，并且对内存要求依研究对象的复杂程度、训练集大小、网络的大小及误差容限的要求等存在差异。在运用BP网络解决相关工程性问题时，需要选择合理的训练函数。

3网络训练函数的选取

该文着重研究BP神经网络的训练函数的选择，所用数据样本均来自于实践中用新型微机控制旋转触探仪采集到的数据，经过归一化处理建立了网络的样本数据库，根据训练函数的特点选择其隐含层数为2。文选择非线性函数为Sigmoid，输出层的传递函数为Purelin，可以用来模拟任何的函数（必须连续有界）。

采用不同的训练函数对网络的性能也有影响，比如收敛速度等等，下面采用不同的训练函数（trainbr、traingd、traingdm、traingdx、traincgf、trainlm、trainb）对网络进行训练，并观察其结果，如表1所示。

对比可知，trainlm训练函数的收敛效果较好，trainbr、trainlm训练函数得到的绝对误差相对较小，其它训练函数的收敛性能较差。trainbr训练样本的绝对误差比trainlm训练函数的绝对误差小，且分布比较均匀，但是trainbr训练函数的收敛精度却相对较差，这可能是出现局部最优化的问题，通过测试样本的进一步分析如表2所示，trainbr训练以后的网络对于预测样本的预测精度较低，偏差较大，进一步验证了该训练函数在训练过程中训练收敛精度相对较差，并出现局部最优化[3]。

综合考虑，可以看到trainlm训练函数具有训练速度快且预测精度高的特点，所以本文中选用trainlm作为训练函数。

4结论

该文以Matlab神经网络的作为工具，基于触探模型作为研究对象，对不同的训练函数进行了仿真比较，结果表明采用不同的训练函数其存在明显的差异。综合考虑干密度误差，含水量误差，干密度误差（样本顺序），含水量误差（样本顺序）以及迭代次数和性能误差等因素，选用trainlm作为训练函数，trainlm函数由于其训练速度较快且计算精度较高而显现出一定的优势。

参考文献

[1]葛哲学，孙志强.神经网络理论与MATLABR2007实现[M].电子工业出版社，2007.