卷积神经网络综述范文篇1

一、试题指向明确，有效控制难度

试题文字表述平实、清晰，材料和设问之间融为一体，设问清楚明白，试题编排从易到难，一些试题允许学生从不同角度回答问题。如第23题第2问具有一定开放性，考生可从因地制宜、可持续发展、循环经济、保护环境、共同富裕、政府工作宗旨等方面分析。

二、聚焦社会热点，富有时代气息

以重大时政、热点事件为背景材料，引导学生以多种视角去观察世界、了解国情、关注家乡，培养学生关注热点的兴趣和习惯。以时政热点素材为背景的题目占了全卷的80%，南海问题、雷锋精神传承、毒胶囊事件、防范网络谣言、金融改革试点、981深水钻井平台首钻成功等热点话题都出现在试卷中。

如第21题以南海问题切入，从历史角度阐述中国对海权问题的认识，设问考查了季风气候的影响、根据经纬度确定位置、我国资源短缺问题解决措施等内容，重申黄岩岛自古属于我国固有领土的主张。

三、利用乡土“活水”，凸显地域特色

试题凸显地域特色，创设本土化的问题情境，引导学生关注身边事，关心家乡的变化和发展。如第5题以温州交警部门统计数字显示醉驾入刑一年来，我市酒后驾驶人数显著减少，反映了市民法制意识的增强。第10-12题以温州首条部级健身步道——“大罗山健身步道”的建成为背景素材，从多个角度考查学生知识、能力。又如第23题以小蔡开展研究性学习的方式设题，通过答题引领学生关心家乡建设，关注百姓生活，启迪学生要善于发现问题，加强实践研究，激发学生的创造性思维。

四、突出学生主体，加强价值引导

历史与社会、思想品德是两门公民课程，要体现积极的思想教育，追求人文素养的提升。试卷力求用积极健康的舆论导向去引领学生的思想，以积极乐观的心态去对待社会问题。

第25题通过手抄报的形式，让学生领悟雷锋座右铭传递的生命价值观；通过“最美妈妈”的善举、“7·23”动车事件中涌现的感人事迹，彰显当代雷锋精神的传承，通过践行一件小善事，引导学生学习雷锋要切实落实到行动中去。

五、注重试题创新，推进命题改革

今年的试卷，在继承传统的基础上注重试题创新，全卷图文并茂，图片、漫画、表格与文字的有机穿插，尤其是手抄报、微电影等新鲜的事物都为试题的呈现方式服务，增添了清新感和时代感。

卷积神经网络综述范文篇2

【关键词】人工智能图像识别深度学习

1概述

图像识别技术是人工智能研究的一个重要分支，其是以图像为基础，利用计算机对图像进行处理、分析和理解，以识别不同模式的对象的技术。目前图像识别技术的应用十分广泛，在安全领域，有人脸识别，指纹识别等；在军事领域，有地形勘察，飞行物识别等；在交通领域，有交通标志识别、车牌号识别等。图像识别技术的研究是更高级的图像理解、机器人、无人驾驶等技术的重要基础。

传统图像识别技术主要由图像处理、特征提取、分类器设计等步骤构成。通过专家设计、提取出图像特征，对图像M行识别、分类。近年来深度学习的发展，大大提高了图像识别的准确率。深度学习从大量数据中学习知识（特征），自动完成特征提取与分类任务。但是目前的深度学习技术过于依赖大数据，只有在拥有大量标记训练样本的情况下才能够取得较好的识别效果。本文认为研究如何在标记数据有限的情况下继续利用深度学习完成物体识别任务具有重要意义。这也是未来人工智能研究的重要方向之一。

2传统图像识别技术

传统的图像识别技术包括：图像获取、预处理、特征提取、分类。在图像输入后，需要先对图像进行预处理。一幅标准灰度图像，如果每个像素的像素值用一个字节表示，灰度值级数就等于256级，每个像素可以是0～255之间的任何一个整数值。一幅没有经过压缩处理的640×480分辨率的灰度图像就需要占据300KB的存储空间。通常我们需要将图片的亮度及对比度调整合适，才能使图片更加清晰、便于观察。

许多采集到的图片带有或多或少的噪声，需要对图片的噪声进行消除。对图片噪声的消除可以使用不同的去噪方法，如中值滤波、算数平均滤波、平滑线性滤波和高斯滤波等。不同滤波器分别适用于不同情况的噪声。如椒盐噪声便适合使用中值滤波器，高斯噪声便适合使用平滑线性滤波和高斯滤波。有时候，我们需要对图像细化处理（如指纹细化，字符细化等），以便获取主要信息，减少无关信息。细化操作，可以得到由单像素点组成的图像轮廓，便于后续特征提取操作。

基本的图像特征提取包括边缘、角点等提取。一般使用不同的特征提取算子结合相应的阈值得到这些关键点。另一类在频域中进行特征提取的方法主要是通过傅里叶变换，将图像基于频率分为不同的部分，从而可以在频谱中反映出原始图像的灰度级变化，便可得到图像的轮廓、边缘。

在完成图像的预处理和特征提取之后，我们便能够对图像进行识别、分类。常用的分类器有K-近邻（KNN），支持向量机（SVM），人工神经网络（ANN）等等。K-近邻算法原理是，当一个样本的k个最相邻的样本中大部分属于某一类别时，该样本也应当属于同一类别。支持向量机是通过寻找支持向量，在特征空间确定最优分类超平面，将两类样本分开。人工神经网络模仿生物大脑中的神经网络结构，通过误差反向传播不断优化参数，从而得到较好的分类效果。

3基于深度学习的图像识别技术

一般认为深度学习技术是由Hinton及其学生于2006年提出的，其属于人工神经网络分支。深度神经网络模仿人脑的神经机制来分析样本，并尽可能地对样本的特征进行更深度的学习。以图片为例，利用深度学习技术对样本的特征进行学习时，由低层特征到高层特征越来越抽象，越来越能表达语义概念。当样本输入后，首先对图像进行卷积与下采样操作，卷积和下采样操作是为了进行特征提取和选择。以原始像素作为输入，深度学习技术可以自动学习得到较好的特征提取器（卷积参数）。深度学习的训练过程，首先将当前层的输出作为下一层的输入，进行逐层分析，使得每一层的输入与输出差别尽可能小。其后，再联合优化，即同时优化所有层，目标是分类误差最小化。

传统的深度神经网络往往网络中的节点数太过庞大，难以训练。人们构造出卷积神经网络，以权值共享的方式减少了节点数量，从而能够加深学习的深度，使系统能学习到更抽象、更深层的特征，从而提高识别正确率。目前较成功的深度学习网络结构有AlexNet、GoogLeNet、ResNet等。

与传统识别技术相比，深度学习技术具有以下优势：

（1）无需人工设计特征，系统可以自行学习归纳出特征。

（2）识别准确度高，深度学习在图像识别方面的错误率已经低于人类平均水平，在可预见的将来，计算机将大量代替人力进行与图像识别技术有关的活动。

（3）使用简单，易于工业化，深度学习由于不需要领域的专家知识，能够快速实现并商业化，国内较知名的深度学习创业公司有专注人脸识别的Face++、研究无人车的驭势科技等。

4存在问题与未来展望

虽然深度学习具备诸多优点，但目前来看深度学习仍有许多不足之处。首先，由于深度学习模型为非凸函数，对其的理论研究十分困难，缺乏理论保证。在对数据进行调整时，仍是简单的“试错”，缺少理论支撑。

同时，由于深度学习过于依赖数据量和计算资源。对一个新概念的学习，往往需要数百个甚至更多有标记的样本。当遇到有标记的样本难以获取或者代价太大时，深度学习就无法取得好的学习效果。并且深度学习需要十分昂贵的高性能GPU，这使得深度学习难以平民化。目前深度学习训练速度较慢，往往需要几天甚至一个月。其模型扩展性差，缺少“举一反三”的能力，样本稍加变化，系统性能便会迅速下降。目前的深度学习属于静态过程，与环境缺乏交互。

对其的解决方案目前主要有两点：

（1）针对于模型扩展性差的问题，通过引入迁移学习，研究不同任务或数据之间的知识迁移，提高模型的扩展能力、学习速度，同时降低学习成本，便于冷启动。

（2）与强化学习结合，研究在动态环境下进行深度学习，提高深度学习与环境交互的能力。

参考文献

[1]蒋树强，闵巍庆，王树徽.面向智能交互的图像识别技术综述与展望[J].计算机研究与发展，2016：113-122.

[2]张翠平，苏光大.人脸识别技术综述[J].中国图象图形学报，2000：885-894.

[3]梅园，赵波，朱之丹.基于直线曲线混合Gabor滤波器的指纹增强算法[J].计算机科学，2016.

[4]孙志军，薛磊，许阳明，王正.深度学习研究综述[J].计算机应用研究，2012：2806-2810.

[5]庄福振，罗平，何清，史忠植.迁移学习研究进展[J].软件学报，2015：26-39.

[6]高阳，陈世福，陆鑫.强化学习研究综述[J].自动化学报，2004：86-100.

卷积神经网络综述范文篇3

【关键词】微表情识别卷积神经网络长短时记忆

1引言

人们的内心想法通常都会表现在面部表情上，然而在一些极端环境下，人们为了压抑自己的真实内心情感时，他们的面部变化十分微小，我们通常称之为微表情。在刑侦、医学、教育、心理和国防等领域上，微表情的应用前景十分远大，不过即便是经过训练的人也很难用肉眼来准确的检测和识别微表情。其主要原因就是它的持续时间短，仅为1/5～1/25s，而且动作幅度很小。

人脸表情识别技术早已发展到一定程度了，甚至不少研究团队提出的方法针对6种基本表情的识别率已经达到90%。然而微表情识别技术的研究在近几年来才刚刚开始，如Pfister等提出了一种结合时域插值模型和多核学习的方法来识别微表情；Wu等设计了一种使用Gabor特征和支持向量机的微表情识别系统；唐红梅等在LTP做出改进而提出的MG-LTP算法，然后采用极限学习机对微表情进行训练和分类；Wang等提出了基于判别式张量子空间分析的特征提取方法，并利用极限学习机训练和分类微表情。

上述的识别技术都是基于传统机器学习的方法，而近几年来，利用深度学习技术来解决图像识别问题是当前的研究热点。在ILSVRC-2012图像识别竞赛中，Krizhevsky等利用深度卷积神经网络的自适应特征提取方法，其性能远远超过使用人工提取特征的方法，并且在近几年内的ImageNet大规模视觉识别挑战比赛中连续刷新了世界纪录。

本文决定使用卷积神经网络（CNN）来提取人脸微表情特征，它能让机器自主地从样本数据中学习到表示这些微表情的本质特征，而这些特征更具有一般性。由于微表情的特性，要充分利用微表情的上下文信息才能更为精确的识别微表情，这里我们采用长短时记忆网络（LSTM），它是递归神经网络（RNN）中的一种变换形式，它能够充分的利用数据的上下文信息，在对序列的识别任务中表现优异，近几年来它被充分的利用到自然语言处理、语音识别机器翻译等领域。综上所述，本文提出一种CNN和LSTM结合的微表情识别方法。

2相关工作

2.1卷积神经网络模型

卷积神经网络模型（CNN）最早是由LeCun等在1990年首次提出，现已在图像识别领域取得巨大成功，它能够发现隐藏在图片中的特征，相比人工提取的特征更具有区分度，而且不需要对原始数据做过多的预处理。

卷积神经网络（CNN）通过三种方式来让网络所学习到的特征更具有鲁棒性：局部感受野、权值共享和降采样。局部感受野是指每一个卷积层的神经元只能和上一层的一部分神经元连接，而不是一般神经网络里所要求的全连接，这样每一个神经元能够感受到局部的视觉特征，然后在更高层将局部信息进行整合，进而得到整个图片的描述信息。权值共享是指每一个神经元和上一层的部分神经元所连接的每一条边的权值，和当前层其他神经元和上一层连接的每一条边的权值是一样的，首先@样减少了需要训练的参数个数，其次我们可以把这种模式作为提取整个图片特征的一种方式。降采样是指通过将一定范围内的像素点压缩为一个像素点，使图像缩放，减少特征的维度，通常在卷积层之后用来让各层所得到的特征具有平移、缩放不变形，从而使特征具有更强的泛化性。

2.2长短时记忆型递归神经网络模型

长短时记忆（LSTM）模型是由Hochreiter提出，它解决了传统RNN在处理长序列数据时存在的梯度消失问题，这一切都要归结于LSTM结构的精心设计。一个常规的LSTM结构如图1所示。

每一个LSTM结构都有一个记忆单元Ct（t表示当前时刻），它保存着这个时刻LSTM结构的内部状态，同时里面还有三个门来控制整个结构的变化，它们分别是输入门（xt），忘记门（ft）和输出门（ht），它们的定义如下所示：

（1）

（2）

（3）

（4）

（5）

（6）

其中σ是一个sigmod函数，而则表示输入数据的非线性变化，W和b是模型需要训练得到的参数。等式5展示了当前的记忆单元是由忘记门和上一时刻的内部状态所控制的，ft决定了上一时刻的内部状态对当前时刻的内部状态的影响程度，而it则确定了输入数据的非线性变换得到的状态对当前时刻记忆单元的影响程度。等式6展示了输出门和当前时刻的内部状态决定了该LSTM的输出。正因为这个巧妙的设计，LSTM就能处理长序列的数据，并且能够从输入序列中获取时间上的关联性，这一特性对于微表情的识别尤为重要。

3网络结构调优和改进

3.1卷积神经网络设计

本文针对输入大小为96×96的灰度图，构建了4个卷积层（C1，C2，C3，C4），4个池化层（S1，S2，S3，S4），1个全连接层（FC1）和1个Softmax层组成的卷积神经网络结构，如图2所示。卷积核（C1，C2，C3，C4）的大小分别为3×3，3×3，5×5，5×5，分别有32，32，32，64个。池化层的降采样核大小均为2×2，并且全部采用的是最大采样，每一个池化层都在对应的卷积层之后，而在所有的卷积层之后，连接了一个包含256个神经元的全连接层，为了尽可能的避免过拟合问题，本文在全连接层后加入一个p=0.75的Dropout层，除了softmax层，其余层的激活函数全部是采用ReLU，CNN的参数训练都是采用随机梯度下降算法，每一批次包含100张图片，并设置冲量为0.9，学习速率为0.001。

3.2长短时记忆型递归神经网络设计

尽管CNN已经从人脸微表情图片从学习到了特征，但是单一的CNN模型忽略了微表情在时域上的信息。于是我们提出通过LSTM来学习不同人脸表情在时域上的关联特征。我们构建了多个LSTM层，以及一个softmax层。

我们首先先训练好CNN的参数，然后把训练好的CNN模型，作为一个提取人脸微表情的工具，对于每一帧图片，我们把最后一个全连接层的256维的向量输出作为提取的特征。那么给定一个时间点t，我们取之前的W帧图片（[t-W+1，t]）。然后将这些图片传入到训练好的CNN模型中，然后提取出W帧图片的特征，如果某一个序列的特征数目不足，那么用0向量补全，每一个特征的维度为256，接着将这些图片的特征依次输入到LSTM的节点中去，只有t时刻，LSTM才会输出它的特征到softmax层。同样LSTM网络的参数训练还是采用随机梯度下降算法，每一批次为50个序列，冲量为0.85，学习速率为0.01。

4实验

4.1微表情数据集

该实验的训练数据和测试数据均来自于中国科学院心理研究所傅小兰团队的第2代改进数据库CASMEII。该数据库从26名受试者中捕捉到近3000个面部动作中选取的247个带有微表情的视频，并且给出了微表情的起始和结束时间以及表情标签，由于其中悲伤和害怕表情的数据量并不多，因此本文选取了里面的5类表情（高兴，恶心，惊讶，其他，中性），由于数据库中的图片尺寸不一样并且是彩色图片，因此先将图片进行灰度处理，并归一化到大小作为网络的输入。本实验采用5折交叉验证的方法，选取245个微表情序列等分成5份，每个序列的图片有10张到70张不等，每份均包含5类表情。

4.2CNN+LSTM和CNN的对比实验

从图2中可以看出不同策略在五类表情里的识别率。当我们采用单一的CNN模型来对人脸微表情进行分类时，我们采取了dropout策略和数据集扩增策略来防止CNN过拟合。CNN+D表示采取了dropout策略的CNN模型，CNN+A表示采取了数据扩增策略的CNN模型，即对每一张图片进行了以下四种变换：旋转、水平平移、垂直平移、水平翻转。从而能将数据集扩增至4倍。CNN+AD表示采取了两种策略的CNN模型。CNN+LSTM表示结合了CNN和LSTM的网络模型。

从表1中我们可以看出，添加了策略的CNN，在人微表情识别上的表现要好于没有添加策略的CNN，这可能是因为训练图片较少，而CNN网络层次较深，导致没有添加策略的CNN在训练参数的过程中很容易就过拟合了。而对于CNN+LSTM的表现要好于单一的CNN模型，这说明LSTM的确能够充分利用时域上的特征信息，从而能够更好识别序列数据，这证明了CNN+LSTM的模型可以用于识别人脸微表情的可行性。从表1中，我们还可以看出高兴和惊讶的表情识别率较高，而其他的则相对较低，这可能是因为高兴和惊讶的区分度较大，并且样本较多。

4.3LSTM的参数调整

下面我们逐一的研究不同参数对CNN+LSTM模型的微表情识别率的影响程度。

图4显示输入的序列个数为100左右能够拥有相对较高的准确率，这说明只有充分利用每一个微表情序列的时域信息，这样，训练出的模型才更加具有一般性。

图5显示出当LSTM隐层的神经元个数为128时，此时的微表情平均识别率最高，这说明隐层需要足够多的神经元才能保留更长的时域信息，对于微表情识别来说，能够拥有更高的精度。

图6显示了LSTM隐层的个数为5时，该模型拥有最好的识别率，这说明较深的LSTM网络才能充分挖掘特征的时域信息。因此经过以上实验，我们得到了一个由5层LSTM，每一层包含128个神经元，并能够处理长度为100的特征序列的模型。

4.4和非深度学习算法的实验对比

为了比较传统机器学习算法和深度学习算法孰优孰劣，我们使用传统机器学习算法在Casme2进行了一样的实验，从表2中可以看出，本文所提出的CNN+LSTM模型相对于这些传统机器学习模型，有着较为优异的表现。

本文中的实验均是基于Google的开源机器学习库TensorFlow上进行的，硬件平台是dell工作站：Intel（R）Core（TM）i7-5820KCPU、主频3.3GHZ，内存64GB、NvidaGeForceGTXTITANXGPU、显存12GB。

5结束语

本文针对传统方法对微表情识别率低，图片预处理复杂的情况，提出了采用卷积神经网络和递归神经网络（LSTM）结合的方式，通过前面的卷积网络层来提取微表情的静态特征，省去了传统机器学习方法，需要人工提取特征的过程，简化了特征提取的工作。然后再通过后面的递归神经网路，充分利用表情特征序列的上下文信息，从而在序列数据中发现隐藏在其中的时域信息，从实验结果中可以看出，利用了时域信息的CNN+LSTM比单纯使用CNN的识别率更高，而且相对于传统机器学习方法也更为优秀。但是当数据量越大时，如果网络的层次比较深的话，模型的训练时间就会很长，并且极度依赖硬件设备，这算是深度学习通有的弊病。为了进一步投入到应用中去，接下来还得提高微表情的识别率，以及在实时环境下，如何能够动态和准确的识别微表情，这些都将会是以后研究的重点。

参考文献

[1]PORTERS，TENBRINKEL.ReadingbetweentheLiesIdentifyingConcealedandFalsifiedEmotionsinUniversalFacialExpressions[J].PsychologicalScience，2008，19（05）：508-514.

[2]PfisterT，LiX，ZhaoG，PietikainenM（2011）Recognisingspontaneousfacialmicro-expressions.2011ProcIEEEIntConfComputVis（ICCV）：IEEE.pp.1449-1456.

[3]WuQ，ShenX，FuX（2011）TheMachineKnowsWhatYouAreHiding：AnAutomaticMicro-expressionRecognitionSystem.In：D’MelloS，GraesserA，SchullerB，MartinJ-C，editors.AffectComputIntellInteract.SpringerBerlin/Heidelberg.pp.152-162.

[4]唐红梅，石京力，郭迎春，韩力英，王霞.基于MG-LTP与ELM的微表情识别[J].电视技术，2015，39（03）：123-126.

[5]WANGSJ，CHENHL，YANWJ，etal.FaceRecognitionandMicro-ExpressionRecognitionBasedonDiscriminantTensorSubspaceAnalysisPlusExtremeLearningMachine[J].NeuralProcessingLetters，2014，39（01）：25-43.

[6]KrizhevskyA，SutskeverI，HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks.In：AdvancesinNeuralInformationProcessingSystems25.LakeTahoe，Nevada，USA：CurranAssociates，Inc.，2012.1097？1105

[7]DENGJ，DONGW，SOCHERR，etal.Imagenet：Alarge-scalehierarchicalimagedatabase[C]//IEEEConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEE，2009：248-255.

[8]BENGIOY，DELALLEAUO.Ontheexpressivepowerofdeeparchi-tectures[C]//Procofthe14thInternationalConferenceonDiscoveryScience.Berlin：Springer-Verlag，2011：18-36.

[9]LeCunY，BoserB，DenkerJS，HowardRE，HubbardW，JackelLD，HendersonD.Handwrittendigitrecogni-tionwithaback-propagationnetwork.In：ProceedingsofAdvancesinNeuralInformationProcessingSystems2.SanFrancisco，CA，USA：MorganKaufmannPublishersInc.，1990.396-404.

[10]S可.卷积神经网络在图像识别上的应用研究[D].杭州：浙江大学[学位论文]，2012.

[11]HochreiterS，SehmidhuberJ.LongShort-TermMemory.NeuralComputation，1997，9（08）：1735-1780

[12]LUCEYP，COHNJF，KANADET，etal.TheExtendedCohn-KanadeDataset（CK+）：Acompletedatasetforac-tionunitandemotion-specifiedexpression[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionWorkshops（CVPRW）.NewYork：IEEE，2010：94-101.

[13]DayanP，AbottLF.TheoreticalNeuroscience.Cambridge：MITPress，2001.

[14]YANWJ，LIX，WANGSJ，etal.CASMEII：AnImprovedSpontaneousMicro-ExpressionDatabaseandtheBaselineEvaluation[J].PlosOne，2014，9（01）：1-8.

[15]YandanWang，JohnSee，RaphaelC-WPhan，Yee-HuiOh.EfficientSpatio-TemporalLocalBinaryPatternsforSpontaneousFacialMicro-ExpressionRecognition[J].PLOSONE，2013，10（05）：11-12

[16]张轩阁，田彦涛，郭艳君，王美茜.基于光流与LBP-TOP特征结合的微表情识别[J].吉林大学学报：信息科学版，2015，33（05）：521-522.

[17]MartínAbadi，PaulBarhamJianmin，Chenel.TensorFlow：Large-ScaleMachineLearningonHeterogeneousDistributedSystems[EB/OL].https：///abs/1605.08695.