习 题 1. 如何理解人工神经网络的学习能力和泛化能力？（10分） 2. 人工神经网络从哪几个方面描述了生物神经系统的基本特征？（20分） 3. 写出至少三种（其中至少包括两个S型）激活函数，并指出什么样的激活函数才能被用于BP网络之中，为什么？（15分） 4. 分别表示出M_P神经元模型与感知机神经元模型，并说明它们的联系与区别。（15分） 5. 分别说明有导师学习的特征和无导师学习的特征，是否可将这两种学习方法有机结合应用于训练神经网络，它们各起什么作用，请举例说明。（15分） 6. M_P神经元模型是如何模拟生物神经元的一阶特性的？其中激活函数有何作用（15分） 7. 计算题：
图1
其中：输入为x=(0.5,1)；隐层的激活函数取；输出层的激活函数取f(u)=u；;
W1=(1,-1,1;1,0.5,2), w2=(1.5,2,1)，计算此时网络输出y=？ 8. 什么叫线性不可分问题？早期的感知器为什么不能解决线性不可分问题? 能否说出至少两种可以解决线性不可分问题的办法？（15分） 9. 能否结合你大作业的完成过程说一下BP算法存在的问题，有何相应的解决办法？ 10. 试比较BP网络与RBF网络，说明各自的特点及其优缺点。（15分） 11. 如何理解Hopfield网络的联想记忆功能？（10分） 12. 根据你的理解，说明BP网络（或RBF网络）的数据压缩功能和模型辨识功能（10分） 13. 试说明人工神经网络不确定的训练方法的基本思想（10分） 14. 简述模拟退火算法的基本思想（尽可能数学形式表示）（10分） 15. 设离散Hopfield网络的权值w是对称正定的，试证明此Hopfield网络是稳定的。 16. a
试设计一感知机网络，使感知机网络能够实现如下图所示阴影部分的分类。要求详细写明设计过程。(20分)
图2
其中各点坐标为： a (4,5) b (6,3) c (5,-2) d (2,1) 17. Hopfield网络权阵的设计与验证：（20分） 18. 简述BP算法的基本思想。（10分） 19. 以三层BP网为例，试推导基本BP算法。（15分） 20. 基本BP算法在具体应用时存在一些什么样的问题？有什么改进措施？（15分） 21. 对于一个有三个神经元的离散Hopfield网络，如果其连接权阵和域值阵分别为： ，
请分析该离散Hopfield网络如果按串行运行方式工作的话，其是否稳定？如果稳定的话，请问对于初始状态：
经过多少次运算可以达到稳定状态，其稳定状态是什么？（改梯我还没有试做，必须试做之后才可以作为考题）。 22. 人工神经元的三个基本组成要素是什么？一组权值；一个求和单元；一个非线性转换函数。 23. 通过学习以后，CNN所获得的知识是如何存储的？存储在连接权上。 24. 简述有教师学习的学习过程。 25. 什么叫BP网络？BP网络与单层感知器有何联系与区别？ 26. RBF网络的权值可用什么方法确定？与BP网络相比其权值学习的特点是什么？ 27. 证明：对于连续型Hopfield网络： 当满足是单调上升函数时，网络是稳定的。 28. 证明：对于离散型Hopfield网络，若其运行规则是串行的，网络模型为： 当满足时，网络是稳定的。 29. 计算题：
图3
其中隐层的激活函数取；输出层的激活函数取f(u)=u；x=(0.5，1)；
W1=(1，-1；1，2), w2=(2，1)， 计算输出Y=？ 30. 试设计一感知机网络，使感知机网络能够实现如下图所示阴影部分的分类。要求阴影及边线为1，其它位0，请详细写明设计过程。(20分)
图4
其中各点坐标为： a (3,5) b (6,4) c (4,-2) d (2,1) 31. (10分)人类对人工智能的研究可以分成 和 两种方式，前者对应的理论主要有： 、 、 等；后者对应的理论主要有： 、 等。 32. (4分)人工神经网络的英文单词 ，缩写词 。 33. (6分)决定人工神经网络整体性能的三大要素是： 、 、 。 34. 试述智能的含义及智能一般所包含的8个方面。 35. 人工智能的三大流派及其主要的代表性理论是什么？ 36. 联接主义观点的核心是什么？ANN从哪几个方面去模拟人脑的智能行为？ 37. 相对于其它人工智能方法来说，ANN最具有吸引力的地方何在？ 38. 人工神经网络的分类如何？ 39. 试写出离散型M_P神经元的模型。 40. 单个（层）离散型M_P神经元为何不能实现XOR运算？试用解析法和图解法加以说明。 41. 0
-3
4
2
-3.5 x1 x2
试设计一个M_P神经元实现图5所示的分类。图中线及线的下方取1，其余为0。
-2
0
1 x2 x1
图5 图6 42. 试设计一个M_P神经网络实现图6所示的分类。图中阴影及线取1，其余为0。 43. 试写出至少三种连续神经元的激励函数，并指出它们的定义域和值域。 44. 什么是BP网络，BP算法的核心是什么？ 45. 什么是有教师学习？什么是无教师学习？ 46. 给出PID神经网络的结构和模型，并给出其一种学习算法。 47. 给出Hopfield网络的结构及稳定性定理。 48. 给出CMAC网络的结构，CMAC网络是全局逼近网络还是局部逼近网络该网络有什么特点？ 49. 什么叫做神经网络的泛化能力？如何提高BP网络的泛化能力？ 50. CMAC网络中若出现重叠现象会出现什么问题？ 51. BP算法有何不足之处？用什么网络可以避免局部极小点问题（RBF网络和CMAC网络）？这些网络又有什么问题？ 52. 试比较BP网络与RBF网络的异同。 53. 下图是一BP网络，试计算隐层神经元的输出及网络的输出y。
图7
其中隐层的激活函数取；输出层的激活函数取f(u)=u；x=(0.5,1)。
54. 现有两个需要记忆的模式(1,-1,1)和(1,-1,1)，试设计Hopfield网络的权值，并检验上述两个记忆摸式的记忆情况。 55. BP网络的连接模式属于 。 （a）层内连接 （b）反馈连接 （c）全连接 （d）前向连接 56. 如果不算输入层，BP网络至少需要 层才能在理论上逼近任何连续函数？ 57. 当Hopfield网络的连接权矩阵是 时，网络稳定。 58. BP网络中一种常用的S型激励函数为 （可以是任意一种）。 59. 人工神经网络从哪几个方面试图去模拟人的自然神经网络？ 60. 试说明或证明单层的M-P神经网络无法实现非线性分类。 61. 试简述模拟退火算法的基本思想，它为什么会限制陷入局部极小点？ 62. 什么叫网络瘫痪？有什么办法能够在一定程度上避免陷入网络瘫痪？ 63. 请设计一Hopfield网络的权阵，样本为X=Y={(101),(110),(001),(111),(010)}，并画出该Hopfield网络。 64. 你的大作业报告完成了没有？写的什么主要内容？主要收获是什么？如果有时间还想应该补充什么内容？ 65. 设计一感知网络，实现图8中阴影与其余部分的分类。写出设计过程。
4
3
4
2
T
P
图8 66. 图9表示一个已经训练好的BP网络，计算当X1=1，X2= -1时的前向计算输出y=？（各神经元的激励函数均为f(u)=1/(1+e-u)），写出计算过程。
X1
X2
2
1
-1
Y
0.2
0.4
图9 67. 人工神经网络队生物神经网络模拟的三个关键点是： 、 、 。 68. 决定人工神经网络整体性能的三大要素是：： 、 、 。 69. 请解释为什么单个或单层感知器只能实现现行分类问题？ 70. 请写出SPIDNN的模型。 71. 请阅读下面的MATLAB程序，解释每一句的作用，并说明该程序的总体功能。
P = -1:.1:1;
T = [-.9602 -.5770 -.0729 .3771 .6405 .6600 .4609 ... .1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988 ... .3072 .3960 .3449 .1816 -.0312 -.2189 -.3201]; figure(1) plot(P,T,'+'); title('Training Vectors'); xlabel('Input Vector P'); ylabel('Target Vector T'); figure(2) eg = 0.0001; sc = 1; net = newrb(P,T,eg,sc);
X = -1:.01:1;
Y = sim(net,X); plot(X,Y); net.iw{1} 72. 请阅读下面的MATLAB程序，解释每一句的作用，并说明该程序的总体功能。 clc clear figure(gcf) P = [-0.5 -0.5 +0.3 -0.1 -80; -0.5 +0.5 -0.5 +1.0 100];
T = [1 1 0 0 1]; net=newp([-80 0.5;-0.5 100],1,'hardlim','learnpn'); net.iw{1,1} = [-0.5997 0.7783]; net.b{1} = [0.0575]; net=train(net,P,T); net.iw{1,1} net.b plotpv(P,T); plotpc(net.iw{1,1},net.b{1}); p = [0.7; 1.2]; a = sim(net,p) 73. 请阅读下面的MATLAB程序，解释每一句的作用，并说明该程序的总体功能。
T = [+1 +1 -1 +1; ... -1 +1 +1 -1; ... -1 -1 -1 +1; ... +1 +1 +1 +1; ... -1 -1 +1 +1]; net = newhop(T);
P = {rands(5,4)};
[Y,Pf,Af] = sim(net,{4 50},{},P);
Y
74. 有教师、无教师、自组织学习有什么联系和区别？个用在什么神经网络上？ 75. 简述ANN的学习能力和泛化能力。 76. 什么是静态网络?什么是动态网络？个用在什么场合？ 77. 激励函数在人工神经网络功能实现中的作用？ 78. 什么是全局逼近网络？什么是局部逼近网络？他们的区别和联系？特点？优缺点？ 79. 什么是CMAC的碰撞和重叠？它对CMAC性能的影响是怎样的？ 80. CAMC神经网络的拟合精度主要受什么影响？为什么？请简单解释其中的原因。 81. CAMC的泛化能力数要是有什么参数来决定的？请简单解释之。 82. 神经网络的连接形式对神经网络性能的影响，请举例说之。 83. 什么是过拟合？ 84. PID神经网络属于 (前向，反馈)网络，属于 (动态，静态)网络。 85. 决定人工神经网络整体性能的三大要素 、 、 。 86. BP学习算法= 过程+ 过程。 87. 是全局逼近网络， 是局部逼近网络。 88. 下图是一神经网络辨识与控制系统，其中NNI(P-1)是神经网络 (正、逆)模型，实现的是 (模型辨识、系统控制)作用；NNC(P-1)是神经网络 (正、逆)模型，实现的是 (模型辨识、系统控制)作用。该系统属于 (开环控制，闭环控制)系统。
_
y u r
NNC(P-1)
NNI(P-1)
对象
图10 89. 请用单个感知器实现or运算。（6分） 90. 非线性作用函数为，试求，并用表示之。（8分） 91. 91、如何理解人工神经网络的学习能力和泛化能力？（8分） 92. 请解释为什么RBF网络是局部逼近网络，为什么RBF网络的中心参数和散度参数对网络的精度和泛化能力很关键？（8分） 93. 说明SPIDNN的初始权值怎样设置，能够使其等价于普通的PID控制器？（6分） 94. （15分）设离散Hopfield网络的权阵，各神经元的激励函数是[-1,1]二值函数，画出该Hopfield网络，计算的并行运行过程，并确定其吸引子或吸引环。 95. （10分）假设，，，设量化值为0.2，泛化常数C=3，试给出S→M→Ac的变换表。 96. 用图11所示的MP（McCulloch-Pitts）模型构成的逻辑网络如图12所示。试写出网络图2 (a)，(b)，(c)和(d)的真值表和逻辑函数表达式 fnet=0 net<01 net≥0
(a)
(b)
(c)
(d)
图11 MP型神经元及基本逻辑网络
（a）MP模型；（b）或非门；（c）与非门；（d）存储单元。
(a)
(b)
(c)
(d)
图12 MP模型构成的逻辑函数神经元网络 97. 图13所示前馈网络，是一个编码器。对一个象素的连续灰度值变吗，0≤X≤1。输出二进制码是 (q3q2q1)。试分析这个网络，并求出对应每个二进制码（000）…（111）的X的范围。设神经元为单极型二进制神经元 fnet=0 net≤01 net>0
Wij=1Wij=-1 fnet=12sinnet+12 图13 编码器 98. 图14所示网络是由具有连续激活函数 fnet=21+exp(-λnet）-1 的神经元构成的，且λ=1。神经元的输出 O1=0.28，O2=-0.73。试求网络的输入矢量 X=[X1 X2]T 和激活函数的 net1 和 net2。
图14 99. 图15所示网络，是用具有 fnet=21+exp(-λnet）-1激活函数的神经元构成的，输入矢量 X1，X2，X3。试确定哪组矢量使网络产生最大响应。输入矢量为
X1=0.8660.5，X2=-0.9850.174，X3=0.3246-0.94
图15 题3-6的神经网络 100. 试用离散感知机训练算法对C=1离散感知机二分分类器完成训练，已知如下分类的6个模式：
第一类：；
第二类：；
初始权值矢量W=0，求出训练后的权矢量。
101. 试推导出用delta学习规则的连续感知机训练规则，并求出()。假设神经元的单极型激活函数为
102. ，其中和是期望和实际响应值，神经元网络是离散感知机。上述网络形式称为离散感知机R分类器(R-category discrete perceptron classifier training 简称RDPTA)。现在用上述方法完成一个三分类器的训练(由三个离散双极型神经元构成的感知机网络)，经三步训练，增广模式分量为-1，学习系数c=1。
第一步：输入模式，增广模式，所有初始权矢量为
第二步：输入模式，增广模式，仅作了调整 。
第三步：输入模式，增广模式，仅作了调整 。
已知最后得到的权矢量为：
试求出用于训练的输入模式、和。 103. 试设计并训练一个印刷字符分类器。下图示出用位图形式表示的和印刷字符，分别用白色和黑色像素表示0和1。分类器用一个离散双极型感知机构成，有十个输入权值，包括阈值在内。 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
图16 印刷字符、的位图
104. 图17示出分为四类的平面输入模式。请用双极型离散感知机设计一个分层网络，能对线性不可分的平面输入模式进行分类，输出层应有三个感知器，分别用001、010、100、111表示一，二，三，四类。
图17 105. 研制一个多层前馈字符分类器，图18示出5个印刷体数字的5x5黑白像素图。
1）试设计一个神经元网络作为字符分类器；
2）给出5个输入/输出二进制训练矢量对的集；
3）训练网络达到零判决误差；
4）通过输入数据的训练实现数字的不失真联想；
5）通过5x5的中心像素（13像素）为白而不是黑作失真数字的恢复，实现对分类器的评价；
6）通过颠倒第12、13和14像素的失真数字的恢复，来评价分类器。
图18 106. 试设计用海明网（Hamming network）对下述三类典型矢量分类： ， ， ，
1）计算权矩阵；
2）找出，m=1，2，3，输出矢量X=[1 1 1 1 1 1]；证明通过网络计算的HD和实际HD相符合；
3）计算出海明网每个节点的输出规一化响应f()
107. 已知一个具有双极型离散二进制神经元构成的单层反馈网络，其权矩阵为：
神经元的阈值和外部输入均为0。试计算和时的能量值。 108. 图19示出一个离散回归网络，神经元具有高增益双极型激活函数
1）通过观察网络的联接找出网络全矩阵。
2）从下述初始状态起分析网络的异步状态变化：
假设状态变化按神经元自然顺序1，2…
3）辨别（b）中网络的平衡稳定状态。
4）计算（c）中所确定的稳定平衡状态的能量值（因为是高增益神经元，所以用削顶能量函数计算能量值）。
图19 109. 图20所示为两个神经元连续单层反馈网络，神经元是高增益的，试求下列各项：
1）状态方程
2）权矩阵；
3）削顶能量函数；
4）削顶能量函数的梯度矢量
图20 110. 图6-19所示由4个高增益神经元组成的神经网络，试写出权矩阵。网络中用四个反向神经元经电导实现反馈，试求出输出为，和时能量值。
111. 由四个神经元组成的Hopfield网自动联想存储为，假设回想是同步完成的，即四个神经元同时修正输出。
1）假设16个状态中任何一个状态都可以为初始状态，试画出状态转换图；
2）计算
3）如果能量值是递减的，试确定网络模型。
112. 有一自动回归联想存储器，权限阵对角线为零，将下列单极型二进制矢量储存其中。
1）计算权矩阵；
2）求出存储器最小能量函数表达式。
113. 一个线性规划问题的代价函数是。已知约束条件为：
1）通过在解平面上的分析求出问题的解。
2）可用图21所示神经元网络解决这个问题，试求出网络的权重和电流值。
图21 114. 已知三个分类中心： 计算检测三分类神经元网络的联接权，所计算的权必须与模式匹配。假设三个神经元的标准权值已从初始调整到标准值。试用联想模型计算每个神经元的响应。 。输入是。 115. 用Kohonen网络Winner-take-all学习算法对图22所示有噪声的字符C、I和T进行分类，分为三类。假设有噪声训练的字符与噪声三个标准值海明距离HD=1.试计算最终权矢量。在回想计算中，计算神经元响应，神经元具有连续单极型激活函数。Kohonen网络的输入为 ：C类 ：I类 ：T类 设。 图22 116. 逻辑函数定义如下：，其中函数极限为0和1，试求，并请画出其波形。 117. 一个Sigmoid奇函数定义如下：=，并且tanh为双曲线正切函数，第二个Sigmoid函数的极限为-1和+1，试求，并请画出其波形以及斜率参数a变化的波形。 118. 另一个Sigmoid奇函数为代数Sigmoid函数：，其极限值为-1和+1，试求，并请画出其波形。 119. 如图23所示，神经元i有4个输入分别为5，-10，6和-4，对应的权值分别为0.6，0.4，-1.5和-0.8，偏差为0.5.试求激励函数分别为阈值函数、分段线性函数和Sigmoid函数（激励函数的参数自定）时，神经元i的输出。
图23 120. 网络如图24所示，写出此网络的输入-输出映射。
图24 121. 设一感知器只有一个隐层，请用BP算法及Sigmoid函数研究以下各函数的逼近问题。 1） 2） 3） 4）
对每个映射都要
① 获取两组数据一组作为训练集，一组作为测试集；
② 用训练集训练网络；
③ 用测试集检验训练结果。
改变隐层单元个数，研究它对逼近效果的影响。
122. 假设RBF网络只有一个输出单元，设代价函数为 其中 试用梯度下降法推导RBF网络各自由参数，，（与有关）的公式即
1）
2）
3）
其中是的导数，。 