- A+
神经网络设计范文第1篇
关键词：人工神经网络；尖峰神经元模型
近年来，人们在计算机智能化领域上取得了很大的进步，但计算机领域还有很多问题无法解决，例如视觉、语言识别和计算机等技术，人们仍不能将计算机系统设计得像生物系统那样灵活。因此，大批研究者转移到仿生科学研究，希望由此找到新的技术，设计出新的智能计算机，其中人工神经网络是其中一个比较热门的领域。随着这个领域的发展，一些团队已经建立起一些创造性的、复杂的神经电路模型，并将其应用到一些项目中，也有研究团队在致力研究人工神经网络的软件和硬件方案，希望能够为智能计算机提供更高层次的理解能力。
人工神经网络模型的并行特性使它与传统的计算机模型相比具有更强的理能力，使它更有机会解决如手写文字识别这类问题。长期以来，大多数研究者都是在CPU上使用模拟的方式进行神经网络的计算，由于CPU工作模式和结构的限制，无法提供最佳的计算性能，因此本文寻求一种新的智能计算硬件平台，在硅芯片上设计神经网络电路。
一、神经网络模型
人工神经网络理论已发展了很多年，并日益趋于成熟，在各领域都得到了一定的应用。人工神经网络的运算主要由计算的基本单位神经元进行，通过若干个神经元构成神经网络以解决现实中的各种问题。
如图1所示，一组神经元构成一个神经网络系统。每一个神经元都有独立的计算单元。神经元计算公式如下：yi(t)=■W■?着ij(t-tij) （1）
公式（1）中yi(t)表示神经元的输出结果，i表示神经元序号，?着ij(t-tij)表示神经元输入值，W■表示每个神经元的权值。
人工神经网络的基本运算包括了乘法和加法运算。为了能够在硬件上执行神经网络的理功能，必须为每个神经元设计独立的加法器和乘法器，我们将其称为加乘法运算单元（MAC），每个神经元都包含了一个MAC单元。
为了使系统能够更好地模拟人类神经系统工作原理，发挥硬件的理能力，本文采用了Gerstner的尖峰神经元模型构建神经元理器的工作流程。在该模型中，每个神经元的膜电位在时间t时表示如下：
ui(t)=■■■W■?着ij(t-tij)+?浊i(t-tij) （2）
?着ij(t)=exp(-■)-exp(-■)*H(t-t■) （3）
公式（2）中，W■表示为第i神经元和第j神经元之间连接的权值，?着ij(t-tij)表示为神经元i能够提供给神经元j的突触后电位（PSP），而?浊i(t-tij)表示倔强函数。公式（3）表示突触后电位（PSP）的计算方法，其中t■和t■为时间常数，H(t-t■) 为Heaviside阶梯函数，t■为轴突传输延时系数。
二、神经元硬件设计
如图2所示，神经网络系统是由多个神经元构成，每个神经元是一个单独的实体，神经元既相互独立，又相互联系，神经元根据所受到外界的刺激（输入）和邻居神经元对自己的影响，做出判断与决策（输出），并影响到周围神经元的反应。为了能够实现神经网络功能，需要模拟神经元单位设计一个特殊的理器用于计算外界刺激而做出的反应，它包含了简单的算数逻辑运算单元、寄存器和控制器，在本文中使用PN表示该理器。
图3显示了一个PN理单元的工作流程图，每个PN理器包括了进行神经元计算必须的运算器和存储器以及相关附属器件。PN理单元的工作流程是：当外部有输入数据通过总线进入PN理器时先存放在输入事件存储器；系统根据事件时间将数据输入到突触后电势寄存器；同时输入值被编号后分别放入公共连接存储器；突触后电势PSP值与其他神经元的权值相乘后与原有膜电位值相加，相加结果更新膜电位存储器值；同时结果与阈值相比较，如果大于阈值则将结果输出到输出存储器中作为该神经元的输出结果存放在输出时间存储器。
系统是由若干个神经元理器构成。如图4所示，人工神经网络系统由若干个神经元共同构成，图5表示了人工神经网络的硬件构成。每一个人工神经网络都是由若干个神经元理单元构成，每个神经元理单元又是由逻辑运算器、存储器和通信单元构成。将这些神经元理器构建在一块电路板或者芯片上，同时理器与理器通过总线连接起来相互通信，共同完成神经网络的运算。系统还为每一个神经元单位配置了一个PN理器，理器之间相互独立，并行计算。当外部刺激（输入）进入系统时，立刻被分配到各个PN理器并行计算神经元对刺激的响应（输出），同时根据计算结果，调整神经元之间的权值系数，并更新存储其中的权值。由于PN理器是并行计算，相对于传统计算机模拟运算，极大地提高了神经网络的计算速度。
本文以Gerstner的尖峰神经元模型为基础，设计了模拟神经元工作的PN理单元，并由若干个PN理单元构成模拟人类神经系统的人工神经网络的硬件系统。相对于在传统计算机上的操作，PN理单元的并行性使新系统有更强的理能力，有效地提高了神经网络的计算速度，使神经网络系统有更好的应用前景。
（作者单位：广东肇庆科技职业技术学院）
参考文献：
[1]Gerstner,W. & Kistler,W.M.Spiking neuron models:single neurons,populations,plasticity. Cambridge,UK:Cambridge University Press，2002.
[2]Mazad S. Zaveri. Dan Hammerstrom1. Performance/price estimates for cortex-scale hardware: A design space exploration，2011，(24).
[3]徐明华，甘强.脉冲神经网络的振荡与分割[J].生物物理学报，1997，(1).
神经网络设计范文第2篇
【关键词】BP神经网络 加速度传感器 手势识别
手势识别的研究是一个非常有意义的课题，从识别方法上看，目前主要采用的是隐马尔可夫模型（HMM）、支持向量机（SVM）、分类决策树以及人工神经网络（ANN）等。在多种识别方法中，HMM方法的识别率较高，但计算时间复杂度较高，SVM需要的存储空间较大，而决策树仅仅对简单手势有较好的识别率，对于复杂手势则识别率较低。综上，本文根据佩戴式数据手套的实时性要求高，计算时间、空间复杂度低的特点，采用BP神经网络模型进行手语识别。
1 基于加速度的BP神经网络手势识别设计
1.1 手势动作的加速度数据
通过可穿戴的手势加速度数据手套，采集得到手势数据。并通过挑点去除和均值滤波对手势数据进行预处理。然后用紧邻极值法提取手势动作的加速度特征值，形成一个手势动作的特征值样本集。
1.2 BP神经网络的设计
根据BP神经网络算法的特点，主要有以下几个方面的设定。
1.2.1 训练样本数量的选择
训练所采用的样本数量的多少，会对手势识别的准确度有较大的影响，训练所采用的样本数量越多，在训练后，最终手势的识别效果越好。但是，在解决实际问题时，不可能无限制的进行样本识别，需要一种规则来选择合适的样本数量进行训练，一般情况下，训练样本数量P可由（1）式来进行计算。
（1）
其中，mε为网络中权值数量加上阈值数量，ε为给定的训练误差。
根据经验，训练样本的数量一般为mε的5到10倍，另外，还需要对样本进行筛选，选择具有代表性的样本进行训练。在样本训练的过程中，将不同类别混合，随机选择加入，以使BP神经网络能够适应各种不同的情况。
1.2.2 BP神经网络的结构设计
在设计BP神经网络的过程中，需要确定隐含层数量、输入层与输出层节点的数量、隐含层节点的数量。
BP神经网络中，当具备S型隐层，权值矩阵再加上阈值，理论上可以用来大致表示所有的线性非线性函数。虽然层数的增加可以提高精度，但会大大增加神经网络的复杂度。考虑到可穿戴设备中的计算能力低，存储空间小，故而选择一层网络。
一般情况下，输入层的节点数量由实际的样本向量的维数决定；输出层的节点数量为需要辨别的手势数量加一。
对于隐层节点数量的选择，一般情况下，可由（2）式得到大致的节点数。
（2）
其中，m为隐含层节点数，n为输入层节点数，l为输出层节点数。
1.2.3 初始权值的选择
对于初始权值，一般情况下选择较小的数，可以使每个神经元的输入小，可以避免多次训练后某些权值的不合理性。本文选取0到2之间的随机数。
1.2.4 学习率的选择
初次训练一般情况下在0.01到1之间选择学习率，然后依据学习率不断调整权值向量，最终获取比较好的权值组合，使得实际输入与期望输入之间的误差小于一定的范围。
1.3 利用BP神经网络的手势识别过程
BP神经网络的手势识别主要分为学习训练与手势识别，其过程如图1所示。
2 实验验证过程及结果分析
在本实验中，主要针对BP神经网络的实现过程做重点介绍，同时根据输出结果，分析BP神经网络的识别效果。
2.1 实验验证过程
本实验随机选择了20位实验者，使其按照预先设定的手势的起始与终止动作，执行十个阿拉伯数字的动作，每人重复10次，总共得到2000组手势动作样本。其中，任意选择其中的一半作为BP神经网络训练样本，剩余部分则用来进行各种手势的识别。训练时，所有样本打乱顺序，然后依次按照顺序输入。
由于需要识别0-9这十个阿拉伯数字，所以总共需要10个输出节点，激活函数采用sigmoid.而一般手语的特征点不超过16个，为了增加BP神经网络的接收能力，将输入节点设为20个。隐含层节点数设为12，训练终止误差设为0.01，学习效率设为0.1。识别效果见表1。
2.2 实验结果分析
在数据训练识别中，由于数字9和数字0的识别中，由于数字0的手势识五个手指全部握住，而在数字求的识别中，手语动作识食指只是一个弧度，没有彻底握住，导致了数字9和数字0的识别率较低。这一问题有待于以后的提高。
参考文献
[1]孔俊其.基于三维加速度传感器的手势识别及交互模型研究[J].传感技术学报，2009.
[2]李歌.基于BP神经网络的手势识别研究[D].秦皇岛：燕山大学，2013.
[3]徐川龙.基于三维加速度传感器的人体行为识别[D].杭州：浙江工业大学，2013.
[4]吴江琴.基于DGMM的中国手语识别系统[J].计算机研究与发展，2000.
[5]邹伟.一种中国手语单手词汇识别系统[J].系统仿真学报，2003.
神经网络设计范文第3篇
【关键词】评价指标 权重 神经网络
1.评价指标设计
教师课程教学质量评价，确定一套科学合理的教学质量评价指标体系是关键。高职学院教学质量评价体系以课程教学评价为主，一般包括教学内容、教学态度、教学方法、讲授能力、教学效果和教书育人等一级指标，每个一级指标下设立各种二级指标。在该体系中分为督导专家评教指标体系，同行教师评教指标体系，学生评教指标体系三个子系统。
2.评价体系权重设计
根据以上权重确定的原则，采用专家意见法和调查分析法，经过专家讨论确定一级指标权重和二级指标的权重，且同一级指标权重值之和为1。本文采用BP神经网络对教学质量评价数值进行仿真实验，输入值采用一级指标评价值，二级指标评价值转化成对应的一级指标评价值。
3.神经网络训练与泛化概念
通过调用train（）函数对神经网络参数进行训练，可以建立神经网络模型net。该函数的调用格式为[net，tr，Y，E]=train（net，X，Y），其中，n为输入变量的路数，n为样本的组数，变量X为n*M矩阵，Y为m*M矩阵，m为输出变量的路数，X，Y分别存储样本点的输入和输出数据。通过样本数据进行训练，得出训练后的神经网络对象net，同时得到其他相关参数信息，。
当确定了BP网络结构后，必须根据误差是否满足要求，再对网络的权值和阈值是否进行学习和修正，以达到网络误差的要求，使训练网络最终达到预先给定的输入输出映射函数关系。BP网络的学习过程分为两个阶段：
第一阶段是输入已知训练数据，通过设置训练的网络结构和初始化权值和阈值，从网络的第一层逐步计算各个网络神经元的输出值。
第二阶段是对阈值和权值进行相应修改，从最后一层向前计算训练过的阈值和权值对预先设定的误差的梯度，即影响程度，从而对各阈值和权值进行相应修改。
以上两个阶段反复交替进行，直到达到误差要求，满足收敛为止。由于误差逐层往回传递，以修正层和层之间的阈值和权值，该多层网络常称之为BP网络。
如果在预先给定最大训练的次数后，仍然不能训练出满足要求的网络，则系统将会报出错误的信息。
4.训练样本采集
1. 评教数据采集
教师课程教学质量评教数据总共有三个部分组成，有督导专家评教数据、同行教师评教数据和学生评教数据。
首先，督导专家评教数据获得。十个一级指标，督导专家评教没有二级指标，对每一个单项评分区间（0，1）之间分数。其次，同行教师评教数据获得。同行教师评教有六个一级指标，十六个二级指标。最后学生评教数据获得。学生评教表有四个一级指标，有十九个二级指标。一级指标评分区间（0，1）区间打分。教师课程教学质量综合评价，有以上三个在分别进行采集数据。每张表格表号是l、2、、n，根据表号进行汇总BP神经网络训练样本数集。
2. 数据整理
样本数据的质量直接关系到模型建立的科学程度M。由于课程教学质量评价存在很强的主观性，且受心理因素的影响在评介侧重点上有所不同。为了使原始数据更加科学、准确，确保网络训练与模型的质量，通过督导专家、同行教师、学生综合评价得到原始数据，从教学评教20个样本数据中随意抽取10个样本作为训练数据，3个样本作为检测数据。
为使数据符合训练过程函数的运算要求，对所原始数据进行归一化处理，使其落在[0，1]区间。以下讲述如何获得专家评价值：
根据“权重对应表”，设定权重矩阵C，每一个分量Ci（i=l，2，…，20），要求
Ci≥0（i=1，2，… ，20）且
令矩阵X表示一级指标，则Xi（i=l，2，，20）。根据评教数据采集方法可以获得样本数据，每一个样本数据中有二十个一级指标的数据，区间（0 1）。
令专家评价值 Y = 通过此公式可以获得每一个样
本的专家评价值。
5.BP神经网络模型的实验设计
本实验设计过程如下：首先输入训练的10样本集，每个样本集有20个输入点， 输入矩阵是20*10。输入总评，即专家评价值10个数据，每个样本对应一个专家评价值；其次，构建BP神经网络模型，通过newff神经网络构建函数，设定神经元节点，隐含层传递函数和输出层传递函数，及训练函数等，同时确定训练次数和训练目标误差；最后通过net=train（net，P，T）得到训练后仿真输出结果，与目标结果进行对比，计算误差能否达到预期目标。
本实验神经网络模型是BP神经网络模型，所以构建网络函数采用newff，即一个前向BP网络。BP神经网络公式：net=newff（PR，[S1，S2，…，SN]，{TFl TF2…TFN}，BTF，BLF，PF）。那么采用哪种训练方式，其训练速度最快，这里是难预知的，因为这取决于许多因素，包括给定问题的复杂性、训练样本集的数量、网络权值和阈值数量、误差目标等。
隐层的节点数如何确定。本文根据Kolmogorov定理，公式m=2n+1，其中n是输入节点数，m表示隐层节点数，即神经元节点数。
采用S（sigmoid）型函数做为BP神经网络中传输函数。
6. 实验结果
应用BP神经网络建立的教学质量评价模型用于学习的样本，待测样本网络输出值与专家评价值非常接近。也就是说，该模型能较为准确的根据各评价指标来确定教师课程教学质量评价结果。
【参考文献】
神经网络设计范文第4篇
关键词:邮件过滤;预处理;特征选择;神经网络集成
中图分类号:TP393文献标识码:A文章编号:1009-3044(2010)01-171-03
The design of Spam Filtering System Based on Neural Network Ensemble
LIU Bao-ping, LI Ai-jun
(Information Management,Shanxi University of Finance & Economics,Taiyuan 030006,China)
Abstract: It is a very important function to deal with spam in the email services.On the basis of expressing the standard email corpus as the form of vector space model,and reducing the emails dimension,this paper uses neural network ensemble to construct the email classifier,then to filter the email;this method experiments on the spam corpus,it proved that the method of the spam filtering is effective.
Key words: email filtering;preprocess;feature selection;neural network ensemble
随着Internet的普及,垃圾邮件问题日益严重。垃圾邮件不仅占用网络带宽,降低整个网络运行效率,给用户时间和精力造成极大浪费,而且可能侵犯收件人隐私权,成为黑客利用的工具,对现实社会造成危害。对电子邮件进行过滤是有效对付垃圾邮件的主要手段。
目前,很多研究者已经对垃圾邮件的过滤方法进行了研究,其主要的邮件过滤方法有:1)黑白名单过滤,提供实时的黑白名单服务。其优点是节省带宽,缺点是对垃圾邮件识别率不高。2)基于规则的过滤方法,设置一些规则对邮件进行评估,邮件特征符合规则则加分,分数达到预先设定的阈值就判定为垃圾邮件。优点是易理解、推广,缺点是依赖于不断地更新邮件规则。3)基于统计的过滤方法,是针对邮件内容进行过滤的一种机器学习的方法,过滤正确率高,速度快,被认为是垃圾邮件处理技术中很受欢迎的一种方法[1]。这种基于机器学习的过滤方法已成为当前研究的主要方向,已有的算法包括贝叶斯分类方法、神经网络方法、KNN方法、Winnow方法等。但如何进一步提高邮件分类的准确率成为新的研究目标。
要提高邮件分类的准确率,分类器设计就成为邮件过滤过程中极其重要的环节。目前基于机器学习的分类方法已有多种,其中,基于神经网络的分类器是邮件分类中比较有效的方法[2]。但是,神经网络容易限于局部极小值,造成邮件的误分。而神经网络集成是用有限个神经网络对同一个问题进行学习,集成在某输入示例下的输出,由构成集成的各神经网络在该示例下的输出共同决定[3]。该方法可以显著地提高神经网络系统的泛化能力[4]。因此,采用神经网络集成的方法设计邮件分类器将会进一步提高邮件分类的准确性,本文就此方面进行研究。
1 基于神经网络集成的垃圾邮件过滤
1.1系统模型
本邮件过滤系统(如图1)主要是针对电子邮件内容进行识别、过滤。电子邮件过滤系统主要由邮件预处理、特征选择、分类器设计三个环节组成。本过滤系统中对邮件的处理过程:首先对邮件的原始语料库进行预处理,把标准邮件集处理成了机器学习算法可以直接处理的向量空间模型的形式;然后利用基于信息增益(IG)的属性选择方法对其进行降维处理,选取合适的维数;最后利用神经网络集成算法分别进行分类分析。
1.2 邮件预处理
为了便于邮件的过滤,对邮件数据集要进行预处理。
1.2.1 基于向量空间模型的邮件表示
本系统通过对邮件的原始语料库进行预处理,把标准邮件集处理成了机器学习算法可以直接处理的向量空间模型的形式。具体处理步骤如下:
1) 初始情况下,先定义一个特征项集合,把邮件语料库中所有出现的词都作为特征项集合的候选特征,输出一个特征项集合的字典。
2) 扫描语料库,把语料库中的每一封邮件都表示成维数(维数等于字典的长度)相等的向量形式,并以稀疏矩阵的形式存储(降低内存使用量)。
3) 移除那些在语料库中出现次数不大于4次(低频词),以及在每篇邮件中都出现的候选特征。这是因为低频词在语料库中出现的次数太少,对分类几乎不起作用;在每篇邮件中都出现的高频词,不具备区分类别的能力。这一步的特征移除可以加速特征选择过程,进一步降低内存需求。
4) 输出经步骤3)处理后的以向量空间模型表示的邮件数据集。
1.2.2 特征选择
为了能有效地分析垃圾邮件的特征,要对邮件数据进行降维。对于垃圾邮件常用的特征选择方法有:文档频率(Document Frequency)、信息增益(Information Gain)、互信息(Mutual Information)、 ?字2统计量(EHI)等。其中,信息增益被认为是最有效的属性选择方法之一[5]。因此,本文采用信息增益的方法对邮件数据集进行降低维处理,取信息增益值最大的前M个词为特征词。将邮件数据集进一步表示成M维的向量空间形式。信息增益表征的是特征词t在语料库中出现前后的信息熵之差,具体到分为垃圾邮件(spam)和正常邮件(ham)的二类问题,IG的公式如下:
其中,C1和C2分别代表合法邮件和垃圾邮件的类别;表示Ci类邮件在语料库中所占的比率;P(t)和P(t)分别表示特征词t 在语料中出现的概率和未出现的概率;表示t出现在Ci类中的概率;表示t未出现在Ci类中的概率。
1.3 分类器设计
在众多关于邮件分类的研究中,主要以单分类器为主,对过滤垃圾邮件效率的进一步提高又一定的局限,而集成分类器分类效果的贡献是非常显著的,因此采用集成的方法可以有效地提高垃圾邮件的过滤。
集成学习目的是利用模型之间的差异性提高学习系统的泛化性能。集成实现方法的研究主要集中在两个方面,即如何生成集成中的各个个体以及怎样将个体的输出结论组合。在生成集成中个体方面,最重要的技术是Boosting[6]和Bagging[7]。Boosting和Bagging是两种用来提高学习算法准确度的方法,大量关于Boosting和Bagging的实验和应用已证明了这两种方法的有效性。结论的结合的方法有投票法,加权投票法以及朴素贝叶斯法等等,其中,投票法包括绝对多数投票法或相对多数投票法。通常,在对分类器进行集成时,大多采用相对多数投票法,即若输出结果为某一分类的神经网络的数目最多,则判定属于该分类。
神经网络在很多领域已得到成功的应用,其网络模型在学习过程中容易陷入局部极小值被认为是它的主要缺点之一。然而,Perrone和Cooper[8]却认为,这一特性对神经网络集成泛化能力的提高起到了重要作用。因此神经网络集成用于邮件过滤系统,能够提高过滤系统的性能。
1.3.1集成系统中个体分类器的生成
经过实验,系统选取RBF神经网络作为基分类器,个体分类器的生成则采用基于样本选择的Boosting和Bagging。
1) Boosting算法的步骤见表1所示。
2 )Bagging算法的主要步骤见表2所示。
1.3.2 集成系统中结论的合成
Bagging采用多数投票方法进行假设的综合,有研究表明,简单的、不加权的投票方法是鲁棒的。 Boosting对每个基分类器的分类结果根据其分类错误率加以权值,然后对加权后的结果投票,最常用的权值计算方法是分类正确率或其变形。
2 实验及结果分析
2.1 语料选择
本文选取垃圾邮件的PU系列语料 作为实验数据。PU系列语料由希腊学者Androutsopoulos提供,其来源于提供者某个时段收到的真实电子邮件。该语料去掉了邮件的附件、HTML标记等,只保留了邮件主题和正文的纯文本内容,为保护提供者的隐私,语料采用加密的形式,用不同的整数替代邮件中的每个词干。
2.2 评价指标
垃圾邮件过滤系统的性能主要通过以下几个指标来评价:
1) 召回率(Recall):即垃圾邮件检出率,反映了过滤系统对垃圾邮件的发现能力,召回率越高,“漏识别”的垃圾邮件就越少。
2) 正确率(Precision):即垃圾邮件检对率,反映了过滤系统对垃圾邮件的判对能力,正确率越大,误判垃圾邮件的可能性越小。
3) 精确率(Accuracy):对所有邮件做出正确判断的概率。
4) 错误率(Error rate):对所有邮件做出错误判断的概率。
5) F值:将召回率和正确率综合成一个指标,是召回率和正确率的调和平均值。
此外,在垃圾邮件过滤的实际过程中,我们容易想到,将合法邮件判为垃圾邮件比将垃圾邮件判为合法邮件的代价要大,本文中用混淆矩阵(Confusion Matrix)反应此代价。
2.3 实验结果与分析
有研究者[9]用实验证明了,PU1语料、PU2语料、PUA语料效率最好的维数分别为1000维、100维、200维。据此,本文将PU1语料、PU2语料、PUA语料分别处理成了1000维、100维、200维的向量空间模型形式。然后将处理好的数据采用的RBF神经网络、AdaBoost(目前最流行的Boosting算法[10])、Bagging等分类算法对实例进行分类,采用十折交互验证法(10-fold-cross-validation)作为评估方法,得到如下实验结果,如图2、图3、图4和表3所示:
图2PU1上的试验结果 图3PU2上的试验结果
上述实验结果表明,对同一个语料库,神经网络集成算法较RBF神经网络算法,提高了精确率和F值,而正确率在提高的同时召回率有所下降,召回率在提高的同时,正确率有所下降,这是判别指标本身的性质。而且,从表3的混淆矩阵,可以看出AdaBoost算法和Bagging算法较RBF算法来说,将正确邮件误分为垃圾的邮件的概率也减少了,即代价减少了。
整体来说,评价指标值提高了,主要的原因就是神经网络集成将经过单个训练的神经网络的输出结果加以合成,采用了多数表决的方法,提高了邮件过滤的性能。实验结果表明神经网络集成方法对于垃圾邮件过滤的是非常有效的。
3 结论
该文重点研究了采用神经网络集成对垃圾邮件进行过滤的方法,同时对邮件过滤系统的数据进行了预处理,经过实验,与单分类器的过滤性能进行比较,结果证明了神经网络集成方法可以进一步提高垃圾邮件过滤的准确率。今后的工作重点是研究邮件多标签分类方法。
参考文献:
[1] 蒋秋香.垃圾邮件过滤技术的发展与现状[J].网络与通讯安全,2007(09).
[2] 黄国玉,龙润生.基于神经网络的邮件分类识别模型研究[J].南京大学学报,2008(06).
[3] Sollich P,Krogh A.Learning with ensembles:How overfitting can be useful.In: Touretzky D,Mozer M,Hasselmo Meds.Advances in Neural Information Processing Systems 8,Cambridge,MA:MIT Press,1996.190-196.
[4] 周志华.神经网络集成[J].计算机学报,2002(01).
[5] Y.Yang.A Comparative Study on Feature Selection in Text Categorization[C].Proceedings of the Fourteenth International Conference on Machine Learning,1997.
[6] Schapire R E.The strength of weak learnability.Machine Learning,1990,5(2):197-227.
[7] Breiman L.Bagging predictors.Machine Learning,1996,24(2):123-140.
[8] Perrone M P,Cooper L N.When networks disagree:Ensemble method for neural networks.In:Mammone R J ed.Artificial Neural Networks for Speech and Vision,New York:Chapman &Hall,1993.126-142.
神经网络设计范文第5篇
关键词：无拖曳卫星；自适应控制；RBF神经网络；反步法
中图分类号：TP273文献标识码：A
Design of Adaptive Neural Network Controllers for LEO Dragfree Satellite
LI Ji,FAN Huijin
(School of Automation, Huazhong University of Science and Technology, Wuhan,Hubei 430074, China)
Abstract:Lowdisturbance environment can be achieved by the LEO(LowEarth Orbit) dragfree satellite, which benefits the validation of relativity, detection of gravitational waves and measurement of gravity field. For dragfree control purpose, most researches proposed controllers with linearized model and ignoring the nonlinear characteristics, which lower the accuracy of controllers. In this paper, by taking into account of the nonlinear characteristics, an adaptive neural network controller is established based on Lyapunov methods and adaptive backstepping control theory. For nonlinear characteristics and unmodeled dynamics, RBF neural network is employed for approximation. At the same time, we introduce the update laws of adaptive neural network weights, which guarantee the stability of the closedloop system and satisfy requirements of the dragfree satellite control system. The simulation results indicate that the controller is effective and the accuracy of the dragfree satellite can be satisfied．
Key words:Dragfree satellite;adaptive control;RBF neural network;backstepping
1 引 言
低轨卫星在太空飞行的过程中，承受着来自星际空间的各种扰动［1］，例如，地球、太阳、月亮引力的影响，以及大气阻力、太阳辐射和地面反射等非惯性力的影响。然而相对论的验证、引力波探测以及地球重力场的测量等都需要低干扰试验环境。为了消除非惯性力的影响，文献［1］提出无拖曳(drag-free)技术，设计了无拖曳卫星：用一个质量块置于卫星本体内部，质量块将不受大气阻力等外部干扰力的影响，因为质量块不与卫星本体接触，所以几乎处于自由漂移状态，成为理想的宁静参考源。卫星本体保持与质量块之间相互隔离的状态，在适当传感器和控制算法条件下，从而保证卫星本体实现较高的宁静性［1］。
无拖曳卫星控制器不但可以使卫星保持稳定，而且良好的控制效果有助于航天任务的完成以及降低对硬件的要求，所以无拖曳卫星控制器设计一直是无拖曳卫星研究的重点。Stephan Theil［2-3］等人考虑了无拖曳卫星控制系统的不确定性，利用分散控制策略设计了系统的鲁棒控制器。E.Canuto［4-5］等人针对GOCE卫星，建立离散时间状态方程，利用嵌入式模型控制策略设计了可调控制器。文献［6］基于干扰观测模型，设计了混合H2/H
SymboleB@
最优控制器，并以LMI形式给出了求解控制器的条件并证明了控制器的稳定性。文献［7］针对卫星本体与质量块相对轨道动力学模型，采用卡尔曼滤波方法对状态和干扰进行了估计，并基于状态估计设计了最优控制器，有效地抑制了干扰对系统的影响。文献［8］基于H2优化理论设计了最优控制器，通过传递函数法及数值法双重分析表明所设计的控制器符合控制要求。
在这些已有的控制器设计中，大多未考虑系统的非线性环节或采用线性化方法，将系统简化为线性模型，从而降低了控制器的精度。由于无拖曳卫星控制系统本质上是一个复杂的非线性系统，本文将直接针对非线性模型，考虑到系统的非线性特征及未建模动态，利用神经网络对函数的有效逼近能力，对系统模型中的非线性部分进行拟合。首先，本文将无拖曳卫星控制系统根据控制目标划分为三个子系统：卫星本体与质量块相对位移子系统，即drag-free子系统；卫星本体姿态子系统；以及卫星本体与质量块相对姿态子系统。接着，针对每个二阶子系统，利用径向基函数(Radial Basis Function)神经网络对系统的非线性部分进行拟合，通过对基函数中心和方差进行学习，并采用自适应反步控制方法，设计相应控制器，建立神经网络权值自适应律以及分散自适应控制律。仿真结果验证了所设计的控制器的有效性。
计算技术与自动化2014年6月
第33卷第2期李 季等：低轨无拖曳卫星的自适应神经网络控制器设计
本文下面内容安排如下：第2节问题描述，建立无拖曳卫星的动力学模型；第3节针对drag-free控制回路、卫星本体姿态控制回路以及卫星本体与质量块相对姿态控制回路，分别设计控制器，同时给出了稳定性分析；第4节通过仿真证明所设计的控制器的有效性；第5节给出结论与进一步的工作。
2 问题描述
本文所考虑的低轨无拖曳卫星结构设计如下：无拖曳卫星只包含一个质量块，且形状为立方体，卫星内腔壁上的位置敏感器能够测量卫星本体和质量块的相对位置。这里采用静电位置悬浮及测量系统EPS(Electrostatic Positioning/Measurement System) 来测量质量块相对移动并对其施加静电力和力矩，根据EPS的测量结果，命令推进器输出相应的推力，使卫星本体跟踪质量块。推进器可以选择场发射推进器和微胶体推进器，它们具有极低的噪声干扰，而且可以实现极小的推力，非常适合无拖曳控制。但在近地环境中，大气阻力有时比较大，尤其在卫星的迎风面，此时需要采用推力较大的推进器，如离子推进器。所以在近地环境中，无拖曳控制往往采用了多种推进器组合的方式［1,8］。本文将无拖曳卫星控制系统根据控制目标划分为三个控制回路：卫星本体与质量块相对位移控制回路，即dragfree控制回路，卫星本体姿态控制回路以及卫星本体与质量块相对姿态控制回路，相关动力学方程如下［9］：
卫星本体与质量块相对位移动力学方程：
rel=1mtm(FGtm+FDtm+FSCtm)－
1msc(FGsc+FCsc+FDsc+FTMsc)－
2ωsc×rel－ωsc×(ωsc×(rh+rrel))－
sc×(rh+rrel)(1)
其中，rrel表示卫星本体和质量块的相对位移，rh表示敏感器空腔中心与卫星质心的距离，mtm表示质量块的质量，msc代表卫星本体的质量，ωsc表示卫星本体姿态角速度，FGtm、FGsc分别表示卫星本体和质量块受到的重力，FDtm、FDsc分别表示卫星本体和质量块受到的非惯性力，FCsc表示卫星本体受到的控制力，FSCtm、FTMsc表示卫星本体和质量块之间的耦合力。
卫星本体姿态动力学方程：
sc=I－1sc［TCsc+TDsc+TTMsc－ωsc×(Iscωsc)］(2)
其中，ωsc表示卫星本体姿态角速度，Isc表示卫星本体的转动惯量，TCsc，TDsc，TTMsc分别表示卫星本体受到的控制力矩、干扰力矩和耦合力矩。
卫星本体和质量块的相对姿态动力学方程：
rel=tm－ATSsc+ωtm×ATSωsc=
I－1tm［TCtm+TDtm+TSCtm－
(ωrel+ωsc)×(Itm(ωrel+ωsc))］－
ATSsc－ATSωsc×ωrel(3)
其中，ωrel表示卫星本体和质量块的相对姿态角速度，ωtm表示质量块的姿态角速度，ωsc表示卫星本体姿态角速度，TCtm，TDtm，TSCtm分别表示质量块受到的控制力矩、干扰力矩和耦合力矩，ATS表示从卫星本体坐标系到质量块本体坐标系的旋转矩阵。
通常将质量块和卫星间的静电耦合基本模型看作一个弹簧―阻尼系统，以质量块为例，在敏感器坐标系下受到的耦合力和力矩形式如下：
FSCtm=－Ktransrrel－Dtransrel(4)
TSCtm=－Krotθrel－Drotrel (5)
其中，Ktrans为卫星本体和质量块之间的耦合水平弹性系数，Dtrans为水平阻尼系数，Krot为卫星本体和质量块之间的耦合旋转弹性系数，Drot为旋转阻尼系数。
通过线性化处理后，得到低轨无拖曳卫星控制系统的动力学简化模型如下：
rel=vrel
rel=-Ktransmtmrrel-Dtransmtmvrel-1mscFCsc+
f1(rrel,vrel
sc=ωsc
sc=I-1scTCsc+f2(φsc,ωsc)
rel=ωrel
rel=I-1tmKrotφrel+I-1tmDrotωrel+
I-1tmTCtm-I-1scTCsc+f3(φrel,ωrel)(6)
系统(6)中，φsc、ωsc分别表示卫星本体的姿态角和姿态角速度，rrel、vrel分别表示卫星本体和质量块的相对位移和相对运动速度，φrel、ωrel分别表示卫星本体和质量块的相对姿态角和相对姿态角速度。本文以欧拉角的形式给出了卫星本体和质量块的姿态。
f1(rrel,vrel)，f2(φsc,ωsc)，f3(φrel,ωrel)为未知光滑函数，代表系统的非线性特征、未建模动态及未知扰动。
注2.1与文献［9］相比，本文将扰动项1mscFDsc包含在了f1中，I－1scTDsc包含在了f2中，I－1tmTDtm、I－1scTDsc包含在了f3中，因此，文献［9］中所研究的模型是本文系统(6)的特例。
上述系统中所涉及的变量均为3维：包含x、y、z三个坐标轴方向。为了清晰地阐述本文的主要思想，以下将仅考虑单个坐标轴方向，并且假设变量之间以及坐标轴之间的交叉耦合量足够小。
定义x=［x11,x12,x21,x22,x31,x32］T，其中状态变量依次代表rrel、vrel、φsc、ωsc、φrel、ωrel。
系统(6)可写成如下三个子系统：
卫星本体与质量块相对位移子系统，即dragfree子系统：
Σ1:11=x1212=a1x11+b1x12+c1u1+f1(x11,x12)(7)
卫星本体姿态子系统：
Σ2:21=x2222=c2u2+f2(x21,x22)(8)
卫星本体与质量块相对姿态子系统：
Σ3:31=x3232=a2x31+b2x32－c2u2+c3u3+f3(x31,x32) (9)
其中，a1=－Ktransmtm，a2=I－1tmKrot，b1=－Dtransmtm，b2=I－1tmDrot，c1=－1msc，c2=I－1sc，c3=I－1tm，u1=FCsc，u2=TCsc，u3=TCtm。f1(x11,x12)，f2(x21,x22)，f3(x31,x32)代表系统的不确定性、未建模动态及未知扰动。
3 控制器设计
3.1 RBF神经网络
本文的目的是基于Lyapunov稳定性理论和自适应反步控制，对无拖曳卫星控制系统的非线性模型进行分析，设计一种自适应神经网络控制器。
人工神经网络形式多种多样，RBF神经网络是其中应用较为广泛的一种，表达形式如下［10-11］：
Ψ(X)=WTΦ(X) (10)
其中，W=［w1,w2,...,wl］T∈Rl为权重向量，Φ(x)=［φ1(X),φ2(X),...,φl(X)］T为基函数向量，l为隐含层神经元的个数，X=［x1,x2,...,xn］代表系统中的状态变量，并作为网络的训练样本输入。基函数i(X)选择高斯函数，表达式如下：
φi(X)=exp －X－ci22σ2i(11)
其中，ci=［ci1,ci2,...,cin］T是隐含层第i个径向基函数的中心点，n为输入层向量的维数，σi是径向基函数的宽度。
3.2 dragfree控制回路
3.2.1 控制器设计
系统Σ1表示dragfree控制回路：
Σ1:11=x1212=a1x11+b1x12+c1u1+f1(x11,x12)
f1(x11,x12)为未知光滑函数，由于RBF神经网络对于光滑函数的有效逼近能力，此时我们采用RBF神经网络对其进行拟合，表达式如下：
f1(x11,x12)=WT1Φ1(x11,x12) (12)
定义1为权值的估计值，1为权值的估计误差。即：
1=W1－1(13)
本节将采用RBF神经网络来对f1进行拟合，结合自适应反步控制，建立权重W1的自适应律，通过调节权重，可以达到系统自适应控制的目的。
第一步：考虑x11子系统，选择Lyapunov函数：
V11(x11)=12x211 (14)
对V11求导，得：
11=x1111=
x11x12(15)
将x12看成x11子系统的虚拟控制，令：
x12=z12+α11(x11)(16)
其中，z12为引入的新的虚拟控制，α11(x11)满足α11(0)=0，并选取为：
α11(x11)=－k11x11 (17)
其中，k11＞0为可调参数。所以
11=x11(z12+α11(x11))=
－k11x211+x11z12(18)
第二步：考虑系统(x11,x12)，选择Lyapunov函数：
V12(x12,x12)=V11(x11)+
12z212+12T1Γ11(19)
其中，Γ1为正定矩阵。
对V12求导，得：
12=－k11x211+x11z12+z1212+ T1Γ11=
－k11x211+z12(x11+12－α11x1111)+ T1Γ11=
－k11x211+z12(x11+a1x11+b1x12+
c1u1+WT1Φ1+k11x12)+ T1Γ11=
－k11x211+z12(x11+a1x11+b1x12+
c1u1+T1Φ1+k11x12)+z12T1Φ1+
T1Γ11=
－k11x211+z12(x11+a1x11+b1x12+
c1u1+T1Φ1+k11x12)+(z12ΦT1+ T1Γ1)1 (20)
选取控制量为
u1=1c1(－x11－a1x11－b1x12－T1Φ1－
k11x12－k12z12) (21)
其中，k11＞0，k12＞0为可调参数。
权值自适应律1为
1=z12Γ－T1Φ1=
(x12+k11x11)Γ－T1Φ1(22)
3.2.2 稳定性分析
定理 1［12］ 考虑如下非线性系统
=f(x)
且
f(0)0 (23)
若存在具有连续1阶偏导数的标量函数V(x)，满足以下条件：
1)V(x)是正定的；
2)(x)=dV(x)/dt是负定的；
3)当x
SymboleB@
时，V(x)
SymboleB@
。
则在系统原点处的平衡状态是大范围渐近稳定的。
通过上述控制器设计，由式(19)，显然V12是正定的，又12=－k11x211－k12z212，由于k11，k12为大于零的可调参数，所以12是负定的，当x11
SymboleB@
，z12
SymboleB@
时，V12
SymboleB@
，所以x11，z12在平衡状态是大范围渐近稳定的。又由式(16)和式(17)可知，当t
SymboleB@
，x110，z120时，有x120，所以x11，x12在平衡状态是大范围渐近稳定的。
3.3 姿态控制回路
3.3.1 卫星本体姿态控制回路
卫星本体姿态状态方程如下：
Σ2:21=x2222=c2u2+f2(x21,x22)
f2(x21,x22)为未知光滑函数，我们采用RBF神经网络对其进行拟合，表达式如下：
f2(x21,x22)=WT2Φ2(x21,x22)(24)
定义2为权值的估计值，2为权值的估计误差。即：
2=W2－2(25)
本节将采用RBF神经网络来对f2进行拟合，结合自适应反步控制，建立权重W2的自适应律，通过调节权重，可以达到系统自适应控制的目的。
第一步：考虑x21子系统，选择Lyapunov函数：
V21(x21)=12x221(26)
对V21求导，得：
21=x2121=x21x22(27)
将x22看成x21子系统的虚拟控制，令：
x22=z22+α21(x21)(28)
其中，z22为引入的新的虚拟控制，α21(x21)满足α21(0)=0，并选取为：
α21(x21)=－k21x21(29)
其中，k21＞0为可调参数。所以
21=x21(z22+α21(x21))=－k21x221+x21z22(30)
第二步：考虑系统(x21,x22)，选择Lyapunov函数：
V22(x21,x22)=V21(x21)+
12z222+12T2Γ22(31)
其中，Γ2为正定矩阵。
对V22求导，得：
22=－k21x221+x21z22+z2222+ T2Γ22=
－k21x221+z22(x21+22－α21x2121)+ T2Γ22=
－k21x221+z22(x21+c2u2+WT2Φ2+
k21x22)+ T2Γ22=
－k21x221+z22(x21+c2u2+T2Φ2+
k21x22)+z22T2Φ2+ T2Γ22=
－k21x221+z22(x21+c2u2+T2Φ2+
k21x22)+(z22ΦT2+ T2Γ2)2 (32)
选取控制量为
u2=1c2(－x21－T2Φ2－
k21x22－k22z22) (33)
其中，k21＞0，k22＞0为可调参数。
权值自适应律2为
2=z22Γ－T2Φ2=(x22+k21x21)Γ－T2Φ2 (34)
3.3.2 卫星本体与质量块相对姿态控制回路
卫星本体与质量块相对姿态状态方程如下：
Σ3:31=x3232=a2x31+b2x32－c2u2+c3u3+f3(x31,x32)
f3(x31,x32)为未知光滑函数，我们采用RBF神经网络对其进行拟合，表达式如下：
f3(x31,x32)=WT3Φ3(x31,x32) (35)
定义3为权值的估计值，3为权值的估计误差。即：
3=W3－3(36)
本节将采用RBF神经网络来对f3进行拟合，结合自适应反步控制，建立权重W3的自适应律，通过调节权重，可以达到系统自适应控制的目的。
第一步：考虑x31子系统，选择Lyapunov函数：
V31(x31)=12x231 (37)
对V31求导，得：
31=x3131=x31x32(38)
将x32看成x31子系统的虚拟控制，令：
x32=z32+α31(x31)(39)
其中，z32为引入的新的虚拟控制，α31(x31)满足α31(0)=0，并选取为：
α31(x31)=－k31x31 (40)
其中，k31＞0为可调参数。所以
31=x31(z32+α31(x31))=－k31x231+x31z32(41)
第二步：考虑系统(x31,x32)，选择Lyapunov函数：
V32(x31,x32)=V31(x31)+
12z232+12T3Γ33(42)
其中，Γ3为正定矩阵。
对V32求导，得：
32=－k31x231+x31z32+z3232+ T3Γ33=
－k31x231+z32(x31+32－α31x3131)+ T3Γ33=
－k31x231+z32(x31+a2x31+b2x32－c2u2+
c3u3+WT3Φ3+k31x32)+ T3Γ33=
－k31x231+z32(x31+a2x31+b2x32－c2u2+
c3u3+T3Φ3+k31x32)+z32T3Φ3+
T3Γ33=
－k31x231+z32(x31+a2x31+b2x32－c2u2+
c3u3+T3Φ3+k31x32)+(z32ΦT3+ T3Γ3)3 (43)
选取控制量为
u3=1c3(－x31－a2x31－b2x32+c2u2－
T3Φ3－k31x32－k32z32)(44)
其中，k31＞0，k32＞0为可调参数。
权值自适应律3为
3=z32Γ－T3Φ3=(x32+k31x31)Γ－T3Φ3(45)
3.3.3 稳定性分析
由定理1，对于子系统Σ2，由式(31)，显然V22是正定的，又22=－k21x221－k22z222，由于k21，k22为大于零的可调参数，所以22是负定的，当x21
SymboleB@
，z22
SymboleB@
时，V22
SymboleB@
，所以x21，z22在平衡状态是大范围渐近稳定的。又由式(28)和式(29)可知，当t
SymboleB@
，x210，z220时，有x220，所以x21，x22在平衡状态是大范围渐近稳定的。同理可得，x31，x32在平衡状态是大范围渐近稳定的。
4 仿真分析
本节为了证实所提出的控制器的有效性，在matlab/simulink环境下进行了仿真验证。
仿真参数如下［9］：卫星本体质量为1050 kg，质量块质量为1 kg，卫星本体和质量块之间的初始相对距离为rrel=1×10－3m，卫星本体和质量块之间的初始相对姿态为φrel=1 π/180rad，卫星本体和质量块之间的耦合水平弹性系数Ktrans=1×10－6N/m，水平阻尼系数Dtrans=1.4×10－11N/m2，卫星本体和质量块之间的耦合旋转弹性系数Krot=1×10－9N m/rad，旋转阻尼系数Drot=3.3×10－14N/rad，卫星本体的转动惯量Isc=200kg m2，质量块的转动惯量Itm=2.667×10－4kg m2。
仿真结果如图1―图3所示。
图1 卫星本体与质量块的相对位移
图2 卫星本体的姿态
从图1中可以看出，在含有不确定的情况下，通过设计的控制器，卫星本体与质量块的相对位移最终趋于零，说明卫星本体能够很好的跟踪质量块，达到dragfree控制的要求，并且精度在10－6数量级，满足dragfree控制的精度需求。图2~图3给出了卫星本体的姿态以及卫星本体与质量块的相对姿态及其控制精度，仿真结果很好的满足了卫星本体与质量块姿态的一致性。
图3 卫星本体与质量块的相对姿态
5 结 论
本文针对无拖曳卫星控制系统，考虑到系统的不确定性、未建模动态以及外界的未知扰动，采用神经网络的方法进行补偿，基于Lyapunov 稳定性理论，结合自适应反步控制，得到权值的更新律以及相应的控制器。仿真结果表明，所设计的控制器有效地抑制了不确定对控制系统的影响。
与传统卫星控制系统相比，无拖曳卫星对控制系统提出了极高的性能指标要求，下一步将考虑存在耦合时，卫星模型的建立和控制器的设计。
参考文献
［1］ 施梨，曹喜滨，张锦绣，等. 无阻力卫星发展现状［J］. 宇航学报, 2010,31(6):1511-1520.
［2］ PETTAZZI L, LANZON A,THEILS. Design of Robust Decentralized Controllers for Dragfree Satellite［C］.Proc.47th IEEE conf. Decision and Control, 2008:602-607.
［3］ PETTAZZI A,LANZON A,THEIL S. Design of Robust Drag-Free Controllers with Given Structure［J］. GUIDANCE, CONTROL, AND DYNAMICS, 2009,32(5):1609=1620.
［4］ ANDREIS D,CANUTO E. DragFree and Attitude Control for the GOCE satellite［C］.Proc.44th IEEE conf. Decision and Control, 2005:4041-4046.
［5］ CANUTO E,BONA B,CALAFIORE BM. Indri. Dragfree control for the European satellite GOCE. Part I:modelling［C］.Proc.41th IEEE conf. Decision andControl, 2002:1269-1274.
［6］ 曹喜滨，施梨，董晓光，等. 基于干扰观测的无阻力卫星控制器设计［J］.宇航学报, 2012,33(4):411-418.
［7］ 李传江，王玉爽，马广富，等. 带卡尔曼估计器的无拖曳卫星干扰补偿控制［J］.哈尔滨工业大学学报, 2012,44(7):8-13.
［8］ 李洪银，胡明. 单测试质量无拖曳卫星无拖曳及姿态系统仿真及其控制研究［J］.天文学报, 2011,52(6):525-536.
［9］ 王玉爽. 无拖曳卫星控制方法研究［D］. 哈尔滨：哈尔滨工业大学, 2011.
［10］宋申民，于志刚，段广仁. BTT导弹自适应神经网络控制［J］.宇航学报, 2007,28(5):1224-1230.
部级期刊 审核时间1-3个月
中山大学肿瘤防治中心;中国抗癌协会神经肿瘤专业委员会
