基于神经网络的手势识别范文篇1

【关键词】神经网络手写识别系统应用

随着计算机技术的快速发展，其在人们的办公学习和日常生活成了不可替代的工具。键盘已经几乎完全替代了笔在人们生活中的地位，随之而来的后果就是人们越来越少的区书写汉字，导致越来越多的中国人甚至都忘记了汉字该如何书写，这种现象在很多研究和报道中都有体现。计算机和键盘是由西方国家发明的，其符合西方国家的语言习惯，对于中国人来说，用字母、符号去完成方块汉字的输入就需要使用者非常熟悉汉语拼音或者五笔编码，对于文化程度较低的使用者来说，这些都限制着他们使用计算机。鉴于计算机键盘的这些缺陷，联机手写输入法应运而生，这为计算机的输入带来了新的发展机遇和挑战。

1联机汉字手写识别的意义及难点

联机汉字识别是用书写板代替传统纸张，笔尖通过数字化书写板的轨迹通过采样系统按时间先后发送到计算机中，计算机则自动的完成汉字的识别和显示。

1.1联机汉字手写识别的意义

联机手写汉字识别的诞生具有非常重要的意义。首先这种输入方法延续了几千年中华文明的写字习惯，实现用户的手写输入，对于长时间不提笔写字的用户来说能够加强其对汉字书写方面的认识，防止“提笔忘字”现象的继续恶化。其次，手写汉字输入不需要学习和记忆计算机的汉字编码规则，其完全符合中国人的写字习惯，使人机之间的交流更人性化，更方便快捷。另外，随着移动智能终端的不断普及，联机汉字手写识别的应用范围将进一步扩大，以适用于不同层次人群对信息输入的需要，具有较大的市场发展前景。

1.2联机手写汉字识别问题的难点

手写汉字识别是光学字符读出器中最难的部分，也是其最终的目标，手写汉字识别的应用主要依赖于其正确识别率和识别速度[1]。手写汉字识别系统的问题具有其特殊性：

（1）中国汉字量大。我国目前的常用汉字大概在4000个左右，在实际应用中的汉字识别系统应该能够完全识别这些常用的字才能够满足需要，由于超大的汉字量，使得手写识别的正确率和识别速度一直不高。

（2）字体多，结构复杂。汉字的手写字体丰富多彩，且汉字的笔画繁多，以及复杂的结构，再加上汉字中的形近字颇多，这些都为汉字识别系统的发展造成了很大的困难。

（3）书写变化大。不同用户在进行手写输入时其字体的变化是很大的，这种变化因人而异，对汉字识别造成了很大的干扰，增加了汉字匹配的难度。

2人工神经网络概述

人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型，通常简称为神经网络，是一种仿生物神经的信号处理模型。在二十世纪四十年代初人们开始进行神经网络的研究，经过几十年的发展，神经网络也产生了一系列的突破，目前应用最多的是Hopfield模型和BP算法。

神经网络的一般模型一般包括十个方面：环境、处理单元、传播规则、神经网络的状态、互联模式、稳定状态、操作模式、活跃规则、活化函数和学习算法。其中，神经元、互联模式、学习算法是神经网络模型中的三个关键因素。神经网络的一个重要内容就是学习，其学习方式可以分为监督学习和无监督学习，其学习过程一般遵循Hebb规则，误差修正学习算法以及胜者为王的学习规则，其中Hebb规则是神经网络学习中最基本的规则。

人工神经网络具有独特的优越性。首先其具有主动学习的功能，在汉字识别过程中，先将汉字模板及可能的识别结果输入到神经网络中，神经网络能够通过其自身的学习过程来实现对汉字的识别，自学功能对于神经网络的预测功能具有非常重要的意义。其次，神经网络系统具有联想存储功能，其反馈功能能够实现这种联想。另外，通过计算机的高速运算能力，神经网络具有高速寻找优化解的能力。

3人工神经网络在联机手写识别系统中的应用

汉字识别属于大类别模式识别，人工神经网络可以通过函数逼近、数据分类、数据聚类三种作用方式以及“联想”的特殊模式对汉字进行识别。Hopfield神经网络作为反馈网络的一种，其自联想记忆网络可以使系统不需要通过大量的训练即可对汉字进行识别，因此Hopfield神经网络对于汉字识别来说具有独特的优势。其中的离散型Hopfield神经网络能够通过串行异步和并行同步的工作方式，使其反馈过程具有非常好的稳定性，而网络只有通过不断的演变稳定在某一吸引子状态时，才能够实现正确的联想。

联机手写识别可以分为训练阶段和识别阶段。训练阶段流程依次为：标准书写字符图像预处理，提取特征并建立特征库，建立Hopfield网络模型，训练网络，保存权值。识别阶段的流程为：坐标序列转化为bmp图像，预处理测试样本，提取特征，送入网络运行，运行网络到平衡状态，分析结果值。根据联机手写识别的工作流程以及Hopfield网络模型的理论，基于Hopfield神经网络的联机手写识别系统在Matlab环境下得到了仿真模拟，效果非常理想。

4总结

手写识别系统能够弥补普通键盘的不足，在提高汉字书写频率的同时，能够满足不同层次人群对计算机应用的技术需要。基于Hopfield神经网络的联机手写识别系统一起自身独特的性能，不仅能够满足手写汉字识别的正确率，而且其识别过程速度非常快。因此它对于实现联机手写识别以及图像识别具有非常重要的意义。

参考文献

[1]俞庆英.联机手写汉字识别系统的研究与实现[D].安徽大学，2005（5）.

[2]郭力宾.交叉点的神经网络识别及联机手写字符的概率神经网络识别初探[D].大连理工大学，2003（03）.

[3]赵蓉.基于神经网络的联机手写识别系统研究与实现[D].西安电子科技大学，2011（01）.

作者简介

周珍娟（1979-），女，江西抚州人。计算机专业硕士。现为江苏城市职业学院讲师。主要研究方向为网络安全，模式识别。

基于神经网络的手势识别范文篇2

中图分类号：G642

1背景

电子信息科学与技术是以物理和数学为基础，研究通过电学形式表达和操控信息的基本规律以及运用这些基本规律实现各种电子系统的方法。在进入电子时代和信息社会的今天，电子信息科学技术已渗透各个领域。随着电子信息技术日新月异，电子信息教学领域也面临着全新的挑战，需要培养具有全方位视野和超强能力的新一代工程师及领导者。本着这一目标，清华大学电子系自2008年开始着手进行课程改革，通过改革课程体系将原有课程重新整合，从学科范式的角度整理出电子工程本科教育的知识体系结构，从而梳理出新的本科课程体系，形成电子信息领域学科地图[1-2]。

2016年AlphaGo战胜李世石的事实，让人工智能技术再一次向世人展示了自己的潜力。人工智能无论在传统的制造加工行业，还是在新兴的互联网行业，都成为国内外各大企业争相研究开发的目标，在学术界也是如此。2016年底，Gartner全球峰会2017十大技术趋势报告[3]，预测2017年十大技术趋势：人工智能与机器学习、智能应用、智能事物、虚拟和增强现实、数字化双生、区块链和已分配分类账、对话式系统、格网应用和服务架构、数字化技术平台、自适应安全架构。Gartner预计2017年全球将有超过60%的大型企业开始采用人工智能技术。

在2016年开设的媒体与认知课程内容中，我们参考国内外诸多名校相关课程的理论及项目内容，结合电子工程系在该领域研究的基础优势和创新性成果，建设了一套媒体认知人工智能技术教学课程内容及平台，以期学生获得人工智能技术中深度学习技术的基础理论和开发能力。课程通过提供人工智能技术领域高层次专业人才必需的基本技能、专业知识及思维方式，力争培养具有国际一流科研创新能力的人工智能方向的专业技术人才。

2人工智能技术教学内容

美国MIT大学的StatisticalLearningTheoryandApplications课程[4]，致力于从统计学习和正则化理论的角度介绍机器学习的基础和最新进展。除了经典的机器学习方法，如支持向量机、流形学习、有监督学习等之外，还重点介绍深度学习计算的理论框架并要求学生以项目形式给出基于机器学习和深度神经网?j的解决方案。

美国CMU大学的DeepLearning课程[5]通过一系列研讨会和课程实验介绍深度学习这一主题，涵盖深度学习的基础知识和基础理论及应用领域，以及大量数据学习的最新问题。通过若干实验题目，学生可以对深度神经网络原理及应用加深理解。

美国Stanford大学的DeepLearningforNaturalLanguageProcessing课程[6]深入介绍应用于自然语言理解的深度学习前沿研究，讨论包括循环神经网络、长短期记忆模型、递归神经网络、卷积神经网络等非常新颖的模型。通过上机实验，学生将学习使用神经网络工作的技巧来解决实际问题，包括实施、训练、调试、可视化和提出自己的神经网络模型，最终的实验项目涉及复杂的循环神经网络并将应用于大规模自然语言理解的问题。

媒体认知课程参考了上述著名课程的理论内容和项目特色。我们结合电子工程系在人工智能领域研究的基础、优势和创新性成果，设计开发了一套以人工智能技术为基础的前沿探索型媒体认知教学课程内容及实验平台，试图构建具有国际水准的人工智能技术教学课程内容。

3深度学习技术发展概况

传统的人工智能系统一般采用机器学习技术，这类技术在处理原始形式的自然数据的能力上受到限制，一般困难集中在如何将原始数据变换为合适的内部表示或特征向量。深度学习（deeplearning）近年来受到人工智能行业的广泛关注，是一种表征学习（representation-learning）方法，由于拥有可以逼近任意非线性函数的特性，深度神经网络（deepneuralnetwork，DNN）及其衍生的各种神经网络结构有能力取代传统模型，在语音、图像、文本、视频等各种媒体的内容识别系统中发挥作用。

著名的人工智能科学家YannLeCun于2015年在Nature上发表文章[7]指出，深度学习允许多个处理层组成的计算模型学习如何表征具有多级抽象层面的数据。这些方法已经大大提高语音识别、视觉识别、目标检测以及诸如药物发现、基因学等许多领域的最新技术水平。深度学习通过使用反向传播算法发现大数据集中的复杂结构，以指示机器如何改变其内部参数，这些内部参数是从深度神经网络上一层的表示中计算每层中的表示。深度卷积网络在处理图像、视频、语音和音频方面带来突破性的进展，而递归网络则对文本、语音等顺序数据提供解决方案。

递归网络可被视作较深的前馈网络，其中所有层共享相同的权重。递归网络的问题在于难以在长期的时间内学习并存储信息。为了解决这一问题，长短期记忆（longshort-termmemory，LSTM）模型网络被提出，主要特点在于其存储器单元在下一个加权值为1的时间段内与自身连接，因此能够在复制自身状态的同时累加外部信号，此外这种自我连接被另一个单元通过学习决定何时清除此类信息。长短期记忆模型被证明在语音识别和机器翻译应用系统中比传统的递归网络更加有效。

4基于深度学习的语音识别教学项目

在对上述课程及配套项目进行详细研究的基础上，结合现有科研及平台，我们构建了一种基于深度学习的连续语音识别项目平台，包括两个主要项目：深度神经网络语音识别项目及长短期记忆模型递归神经网络语音识别项目。

4.1深度神经网络语音识别项目

典型的深度神经网络语音识别模型[8-9]核心是对声学特征进行多层变换，并将特征提取和声学建模在同一网络中进行优化。神经网络可以通过非线性激活函数来拟合任何非线性函数，可以使用神经网络取代原有声学模型中的高斯混合模型，用来计算每一帧的特征与每个音素的相似程度。深度神经网络原理的结构示意图如图1所示。

图1代表了一个拥有3个隐含层的深度神经网络。相邻两层中，每层的每一个节点都与另外一层的所有节点单向连接。数据由输入层输入，逐层向下一层传播。对于节点间的连接权重，采用BP算法。BP算法对于给定的输入输出训练数据，首先通过正向传播由输入得到输出，之后通过实际输出与理论上的正确输出之差得到残差，并由输出层向输入层根据激活函数与连接权重反向传播残差，计算出每一个节点与理想值之间的残差，最后根据每个节点的残差修正节点间连接的权重，通过对权重的调整实现训练，从而更加靠近理论输出结果。

将DNN实际利用到语音识别的声学模型时，其结构示意图如图2所示。深度神经网络的输入层输入从每一帧音频中提取出的特征，通过网络的正向传播，在输出?邮涑龅鼻爸《杂Σ煌?音素的相似程度，从而作为HMM的发射概率进行语音识别。考虑到DNN没有记忆特性，而语音信号即使是在音素层级上，其前后也有相当大的联系。为了提高DNN在处理前后高度关联的语音信号中的表现，一般选择同时将当前帧的前后部分帧作为网络的输入，从而提高对当前帧识别的正确率。

4.2长短期记忆模型递归神经网络语音识别项目

长短期记忆模型应用于语音识别中声学模型的思路和深度神经网络类似[10-11]，取代高斯混合模型用于计算输入帧与各音素的匹配程度。原理为首先根据输入门判断输入的数据可以进入记忆细胞的比例，同时遗忘门决定记忆细胞遗忘的比例；之后由记忆细胞残存的记忆部分和新输入的部分求和，作为记忆细胞的新记忆值；将新的记忆值根据输出门的控制得到记忆细胞的输出，并通过递归投影层降维，降维之后的结果一方面作为3个控制门的反馈，另一方面作为网络的输出；非递归投影层则仅仅作为最终输出的补充，而不会影响控制门。将长短期记忆模型实际利用到语音识别的声学模型时，其结构示意图如图3所示。

与深度神经网络不同，长短期记忆模型递归神经网络因为有记忆特性，所以不需要额外的多帧输入，只需要输入当前帧。然而，考虑到语音前后的关联性，一般会将输入的语音帧进行时间偏移，使得对t时刻帧的特征计算得到的输出结果是基于已知未来部分帧的特征之后进行的，从而提高准确度。

基于神经网络的手势识别范文篇3

关键词：人工智能；媒体与认知；RealSense平台；深度学习

文章编号：1672-5913（2017）07-0155-04

中图分类号：G642

1背景

电子信息科学与技术是以物理和数学为基础，研究通过电学形式表达和操控信息的基本规律以及运用这些基本规律实现各种电子系统的方法。在进入电子时代和信息社会的今天，电子信息科学技术已渗透各个领域。随着电子信息技术日新月异，电子信息教学领域也面临着全新的挑战，需要培养具有全方位视野和超强能力的新一代工程师及领导者。本着这一目标，清华大学电子系自2008年开始着手进行课程改革，通过改革课程体系将原有课程重新整合，从学科范式的角度整理出电子工程本科教育的知识体系结构，从而梳理出新的本科课程体系，形成电子信息领域学科地图[1-2]。

2016年AlphaGo战胜李世石的事实，让人工智能技术再一次向世人展示了自己的潜力。人工智能无论在传统的制造加工行业，还是在新兴的互联网行业，都成为国内外各大企业争相研究开发的目标，在学术界也是如此。2016年底，Gartner全球峰会2017十大技术趋势报告[3]，预测2017年十大技术趋势：人工智能与机器学习、智能应用、智能事物、虚拟和增强现实、数字化双生、区块链和已分配分类账、对话式系统、格网应用和服务架构、数字化技术平台、自适应安全架构。Gartner预计2017年全球将有超过60%的大型企业开始采用人工智能技术。

在2016年开设的媒体与认知课程内容中，我们参考国内外诸多名校相关课程的理论及项目内容，结合电子工程系在该领域研究的基础优势和创新性成果，建设了一套媒体认知人工智能技术教学课程内容及平台，以期学生获得人工智能技术中深度学习技术的基础理论和开发能力。课程通过提供人工智能技术领域高层次专业人才必需的基本技能、专业知识及思维方式，力争培养具有国际一流科研创新能力的人工智能方向的专业技术人才。

2人工智能技术教学内容

美国MIT大学的StatisticalLearningTheoryandApplications课程[4]，致力于从统计学习和正则化理论的角度介绍机器学习的基础和最新进展。除了经典的机器学习方法，如支持向量机、流形学习、有监督学习等之外，还重点介绍深度学习计算的理论框架并要求学生以项目形式给出基于机器学习和深度神经网j的解决方案。

美国CMU大学的DeepLearning课程[5]通过一系列研讨会和课程实验介绍深度学习这一主题，涵盖深度学习的基础知识和基础理论及应用领域，以及大量数据学习的最新问题。通过若干实验题目，学生可以对深度神经网络原理及应用加深理解。

美国Stanford大学的DeepLearningforNaturalLanguageProcessing课程[6]深入介绍应用于自然语言理解的深度学习前沿研究，讨论包括循环神经网络、长短期记忆模型、递归神经网络、卷积神经网络等非常新颖的模型。通过上机实验，学生将学习使用神经网络工作的技巧来解决实际问题，包括实施、训练、调试、可视化和提出自己的神经网络模型，最终的实验项目涉及复杂的循环神经网络并将应用于大规模自然语言理解的问题。

媒体认知课程参考了上述著名课程的理论内容和项目特色。我们结合电子工程系在人工智能领域研究的基础、优势和创新性成果，设计开发了一套以人工智能技术为基础的前沿探索型媒体认知教学课程内容及实验平台，试图构建具有国际水准的人工智能技术教学课程内容。

3深度学习技术发展概况

传统的人工智能系统一般采用机器学习技术，这类技术在处理原始形式的自然数据的能力上受到限制，一般困难集中在如何将原始数据变换为合适的内部表示或特征向量。深度学习（deeplearning）近年来受到人工智能行业的广泛关注，是一种表征学习（representation-learning）方法，由于拥有可以逼近任意非线性函数的特性，深度神经网络（deepneuralnetwork，DNN）及其衍生的各种神经网络结构有能力取代传统模型，在语音、图像、文本、视频等各种媒体的内容识别系统中发挥作用。

著名的人工智能科学家YannLeCun于2015年在Nature上发表文章[7]指出，深度学习允许多个处理层组成的计算模型学习如何表征具有多级抽象层面的数据。这些方法已经大大提高语音识别、视觉识别、目标检测以及诸如药物发现、基因学等许多领域的最新技术水平。深度学习通过使用反向传播算法发现大数据集中的复杂结构，以指示机器如何改变其内部参数，这些内部参数是从深度神经网络上一层的表示中计算每层中的表示。深度卷积网络在处理图像、视频、语音和音频方面带来突破性的进展，而递归网络则对文本、语音等顺序数据提供解决方案。

递归网络可被视作较深的前馈网络，其中所有层共享相同的权重。递归网络的问题在于难以在长期的时间内学习并存储信息。为了解决这一问题，长短期记忆（longshort-termmemory，LSTM）模型网络被提出，主要特点在于其存储器单元在下一个加权值为1的时间段内与自身连接，因此能够在复制自身状态的同时累加外部信号，此外这种自我连接被另一个单元通过学习决定何时清除此类信息。长短期记忆模型被证明在语音识别和机器翻译应用系统中比传统的递归网络更加有效。

4基于深度学习的语音识别教学项目

在对上述课程及配套项目进行详细研究的基础上，结合现有科研及平台，我们构建了一种基于深度学习的连续语音识别项目平台，包括两个主要项目：深度神经网络语音识别项目及长短期记忆模型递归神经网络语音识别项目。

4.1深度神经网络语音识别项目

典型的深度神经网络语音识别模型[8-9]核心是对声学特征进行多层变换，并将特征提取和声学建模在同一网络中进行优化。神经网络可以通过非线性激活函数来拟合任何非线性函数，可以使用神经网络取代原有声学模型中的高斯混合模型，用来计算每一帧的特征与每个音素的相似程度。深度神经网络原理的结构示意图如图1所示。

图1代表了一个拥有3个隐含层的深度神经网络。相邻两层中，每层的每一个节点都与另外一层的所有节点单向连接。数据由输入层输入，逐层向下一层传播。对于节点间的连接权重，采用BP算法。BP算法对于给定的输入输出训练数据，首先通过正向传播由输入得到输出，之后通过实际输出与理论上的正确输出之差得到残差，并由输出层向输入层根据激活函数与连接权重反向传播残差，计算出每一个节点与理想值之间的残差，最后根据每个节点的残差修正节点间连接的权重，通过对权重的调整实现训练，从而更加靠近理论输出结果。

将DNN实际利用到语音识别的声学模型时，其结构示意图如图2所示。深度神经网络的输入层输入从每一帧音频中提取出的特征，通过网络的正向传播，在输出邮涑龅鼻爸《杂Σ煌音素的相似程度，从而作为HMM的发射概率进行语音识别。考虑到DNN没有记忆特性，而语音信号即使是在音素层级上，其前后也有相当大的联系。为了提高DNN在处理前后高度关联的语音信号中的表现，一般选择同时将当前帧的前后部分帧作为网络的输入，从而提高对当前帧识别的正确率。

4.2长短期记忆模型递归神经网络语音识别项目

长短期记忆模型应用于语音识别中声学模型的思路和深度神经网络类似[10-11]，取代高斯混合模型用于计算输入帧与各音素的匹配程度。原理为首先根据输入门判断输入的数据可以进入记忆细胞的比例，同时遗忘门决定记忆细胞遗忘的比例；之后由记忆细胞残存的记忆部分和新输入的部分求和，作为记忆细胞的新记忆值；将新的记忆值根据输出门的控制得到记忆细胞的输出，并通过递归投影层降维，降维之后的结果一方面作为3个控制门的反馈，另一方面作为网络的输出；非递归投影层则仅仅作为最终输出的补充，而不会影响控制门。将长短期记忆模型实际利用到语音识别的声学模型时，其结构示意图如图3所示。

与深度神经网络不同，长短期记忆模型递归神经网络因为有记忆特性，所以不需要额外的多帧输入，只需要输入当前帧。然而，考虑到语音前后的关联性，一般会将输入的语音帧进行时间偏移，使得对t时刻帧的特征计算得到的输出结果是基于已知未来部分帧的特征之后进行的，从而提高准确度。

5结语

我们主要介绍了媒体与认知课程中的深度学习教学项目“基于深度学习的语音识别教学项目”，在现有开发平台的基础上引入多种深度学习算法并对其进行比较，使得学生掌握了目前主流的深度学习算法核心技术及应用方法。学生反馈表明，通过该部分教学内容，学生对深度学习技术加深了了解，调动了研究积极性，大部分学生对深度学习方向的前景十分乐观。将这些内容与媒体认知教学课程结合并为学生提供研究平台，使得学生开阔了科研视野，进一步为培养学术兴趣、明确科研方向和坚定科研信念提供辅助和支撑，最终达到培养具备国际领先研究水平、同时具有突出创新实践能力和持续探索精神的高素质人才的目的。下一步，我们将基于该深度学习项目平台进一步开展研究探索，提高深度学习的实时性和鲁棒性。

参考文献：

[1]清华大学电子工程系[EB/OL].[2017-02-01].http：///.

[2]杨毅，徐淑正，乔飞，等.媒体认知实验教学改革研究与探索[J].计算机教育，2015（9）：107-109.

[3]搜狐科技.Gartner最新2017十大战略技术趋势：以智能为中心实现万物互联[EB/OL].（2016-11-09）[2017-02-01].http：///20161109/n472678047.shtml.

[4]9.520/6.860：Statisticallearningtheoryandapplications，fall2016[EB/OL].[2017-02-01].http：//www.mit.edu/～9.520/fall16/.

[5]DeepLearning[EB/OL].[2017-02-01].http：//deeplearning.cs.cmu.edu/.

[6]Deeplearningfornaturallanguageprocessing[EB/OL].[2017-02-01].http：//cs224d.stanford.edu/.

[7]LeCunY，BengioY，HintonG.Deeplearning[J].Nature，2015，521（7553）：436-444.

[8]HintonGE，OsinderoS，TehYW.Afastlearningalgorithmfordeepbeliefnets[J].Neuralcomputation，2006，18（7）：1527-1554.

[9]GravesA，MohamedA，HintonG.Speechrecognitionwithdeeprecurrentneuralnetworks[C]//2013IEEEInternationalConferenceonAcoustics，SpeechandSignal（ICASSP）.WashingtonDC：IEEE，2013：6645-6649.