(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 112668378 A(43)申请公布日 2021.04.16
(21)申请号 201910985912.1(22)申请日 2019.10.16
(71)申请人 哈尔滨理工大学
地址 150080 黑龙江省哈尔滨市南岗区学
府路52号哈尔滨理工大学(72)发明人 孙崐 张彬 郑凯 (51)Int.Cl.
G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
权利要求书2页 说明书5页 附图5页
CN 112668378 A(54)发明名称
一种基于图像融合与卷积神经网络结合的人脸表情识别方法(57)摘要
本发明公开了一种基于图像融合与卷积神经网络结合的人脸表情识别方法，本方法首先从JAFFE和CK+人脸表情库中获取人脸表情图像进行图像预处理操作；其次，采用局部二值模式提
再次，将局部二值取人脸表情图像的纹理特征；
模型编码图与表情灰度图像进行基于像素灰度值加权平均方法的融合，并输入到卷积神经网络中，最后通过softmax分类器计算表情识别概率。在此基础上，通过在人脸表情库上的实验，得出了不同人脸表情库下的最佳卷积神经网络层数和最佳融合权值，并完成了与多种人脸表情识别方法的对比实验。本发明采用局部二值模式用于特征提取并与人脸表情灰度图像进行像素值加权平均融合，能够获得更丰富有效的特征信息，具有较高的识别率，对于样本数较少时，也具有较好的鲁棒性。
CN 112668378 A
权 利 要 求 书
1/2页
1.一种基于图像融合和卷积神经网络结合的人脸表情识别方法，其特征在于，该方法包括如下步骤：
S1、获取人脸表情图像：从人脸表情图像库中下载人脸表情图像；S2、图像预处理：将人脸表情数据集分为测试集和训练集，对训练集和测试集分别进行数据增强、归一化和人脸检测；
S3、根据局部二值模式的编码规则，对人脸表情图像提取纹理特征，特征值用d表示；S4、将局部二值模式提取的特征图与表情灰度图像进行基于像素灰度值加权平均融合，融合后像素值记为：
x＝(x1，x2，...，xn) (1)公式(1)中，n为融合后表情图像的像素值宽度；S5、将融合后的图像输入到CNN模型的第一层卷积层，输出用h1，表示：α
αα公式(2)中，第α个卷积面h1，的卷积核为w1，、偏置为b1，；公式(3)中，R(x)为激活函数；αR(x)＝ReLU(x)＝max(0，x) (3)S6、重复步骤S5，卷积2-3次，将卷积后的输出，输入进池化层中，用h2，表示：α
公式(4)中，第α个池化面h2，是通过对h1，的下采样计算的；ααS7、重复S5和S6操作n次，其输出进入全连接层中，用hn+1表示，如公式(5)：
α
hn+1＝R(∑αWn+1，h2，+bn+1) (5)αS8、将全连接层输出到CNN输出层中，用o表示，计算得出表情识别概率；o＝softmax(Wn+2hn+1+bn+2) (6)公式(6)中，Wn+2为权值矩阵。
2.根据权利要求1所述的基于图像融合和卷积神经网络结合的人脸表情识别方法，其特征在于:步骤S3中所述局部二值模型通过比较中心像素点与邻域8个相邻域(即pc和pi(i＝0,1,…,7))的灰度值大小；当中心像素点的灰度值大于邻域的8个的灰度值时，记为1，反之记为0；将获得的数值按顺时针方向连接成8位二进制数，然后将二进制编码数转换为十进制编码数，得到中心像素点的局部二值模的编码值，如公式(7)和(8)所示：
公式(7)中，pc是中心像素点(xc，yc)的灰度值，pi是K邻域中第i个点的灰度值；公式(8)中，f(x)为符号函数。
3.根据权利要求1所述的基于图像融合和卷积神经网络结合的人脸表情识别方法，其特征在于:步骤S4中对于输入的图像每一位置的像素值，确定权值比重，对其线性加权计算，如式(9)和(10)所示：
在(9)中，In(i，j)为任意位置的灰度值，融合后该位置的像素标记为I(i，j)，公式(10)
2
CN 112668378 A
权 利 要 求 书
2/2页
表示的权重系数之和为1；其中，取N＝2为两张图像进行融合，融合后的像素值为：
I(d1，o1)＝w*d+(1-w)*o (11)式(11)中，局部二值模型进行特征提取后任一位置的像素值记为d，表情灰度原图像的任一位置的像素值记为o，融合权重为w，图像融合后该位置的像素为I(d1，o1)。
4.根据权利要求1所述的基于图像融合和卷积神经网络结合的人脸表情识别方法，其特征在于：步骤S5-S8采用反向传播算法，学习算法伪代码步骤如下所示：
输入：训练集{(xl，yl)，1≤l≤L}，学习率η，网络结构，迭代次数epoch；输出：所有权值和偏置；
3
CN 112668378 A
说 明 书
1/5页
一种基于图像融合与卷积神经网络结合的人脸表情识别方法
技术领域
[0001]本发明涉及图像识别技术领域，尤其涉及一种基于图像融合与卷积神经网络结合的人脸表情识别方法。
背景技术
[0002]随着信息化社会的不断发展，人脸表情识别广泛应用于生活中，如疲劳驾驶监测仪、专用测谎仪和VR技术等，具有采集方便、无法侵犯等优点。因此提高人脸表情识别准确率，可以很大程度地促进人机交互系统的发展以及提高计算机进行图像识别的水平，在肢体语言与自然语言的融合，构建表情与语言的连接模型中具有重大的意义。[0003]基于手工统计特征的传统人脸表情识别方法，需要人工干预定位选取，对于不同的人脸表情库需要采用不同的特征提取算法，不具有普遍性，从而使得识别率较低。基于卷积神经网络下的人脸表情识别方法，忽略人脸表情图像的局部信息，从而影响人脸表情识别率。而将能提取图像纹理信息的局部二值模式算法与卷积神经网络结合进行人脸表情识别，同样会导致表情灰度图像信息利用率较低，进而影响人脸表情识别率。发明内容
[0004]本发明针对目前技术发展的需求和不足之处，提出一种基于图像融合与卷积神经网络结合的人脸表情识别方法，具有很好的识别效果。
[0005]本发明为解决上述问题提出了一种基于图像融合与卷积神经网络结合的人脸表情识别方法，采用的具体方案步骤如下。[0006]S1、获取人脸表情图像：从人脸表情图像库中下载人脸表情图像。[0007]S2、图像预处理：将人脸表情数据集分为测试集和训练集，对训练集和测试集分别进行数据增强、归一化和人脸检测。[0008]S3、根据局部二值模式的编码规则，对人脸表情图像提取纹理特征，特征值用d表示。
[0009]S4、将局部二值模式编码图与表情灰度图像进行基于像素灰度值加权平均方法的融合，融合后像素值记为：
x＝(x1,x2,...,xn) (1)公式(1)中，n为融合后表情图像的像素值宽度。[0010]S5、将融合后的图像输入到CNN模型的第一层卷积层，输出用h1,表示：α
αα
公式(2)中，第α个卷积面h1,的卷积核为w1,、偏置为b1,，公式(3)中，R(x)为激活函数。αR(x)＝ReLU(x)＝max(0,x) (3)[0011]S6、重复步骤S5，卷积2-3次。将卷积后的输出，输入进池化层中，用h2,表示。α
公式(4)中，第α个池化面h2,是通过对h1,的下采样计算的。αα
4
CN 112668378 A[0012]
说 明 书
2/5页
S7、重复S5和S6操作n次，其输出进入全连接层中，用hn+1表示。
α
hn+1＝R(∑αWn+1,h2,+bn+1) (5)α
[0013]S8、将全连接层输出到CNN输出层中，用o表示，计算得出表情识别概率。
o＝softmax(Wn+2hn+1+bn+2) (6)公式(6)中，Wn+2为权值矩阵。[0014]优先地，步骤S3中所述局部二值模型通过比较中心像素点与邻域8个相邻域(即pc和pi(i＝0,1,…,7))的灰度值大小。当中心像素点的灰度值大于邻域的8个的灰度值时，记为1，反之记为0。将获得的数值按顺时针方向连接成8位二进制数，然后将二进制编码数转换为十进制编码数，得到中心像素点的局部二值模式的编码值，如公式(7)和(8)所示：
公式(7)中，pc是中心像素点(xc,yc)的灰度值，pi是K邻域中第i个点的灰度值。公式(8)中，f(x)为符号函数。[0015]优先地，步骤S4中对于输入的图像每一位置的像素值，确定权值比重，对其线性加权计算，如式(9)和(10)所示：
在(9)中，In(i,j)为任意位置的灰度值，融合后该位置的像素标记为I(i,j)，公式(10)表示的权重系数之和为1。其中，取N＝2为两张图像进行融合，融合后的像素值为：
I(d1,o1)＝w*d+(1-w)*o (11)公式(11)中，局部二值模型进行特征提取后任一位置的像素值记为d，表情灰度原图像的任一位置的像素值记为o，融合权重为w，图像融合后该位置的像素为I(d1,o1)。[0016]优先地，步骤S5-S8采用反向传播算法，学习步骤的伪代码算法如下所示：
输入：训练集{(xl,yl),1≤l≤L}，学习率η，网络结构，迭代次数epoch输出：所有权值和偏置
5
CN 112668378 A
说 明 书
3/5页
本发明的一种基于图像融合与卷积神经网络结合的人脸表情识别方法，与现有技
术相比具有以下优点。
[0018]本发明能够有效地提高图像信息利用率。由以上技术方案可以看出，图像融合将局部二值模式提取的特征图与表情灰度图像进行像素灰度值加权平均融合，图像局部纹理特征信息丰富、图像利用率高、具有旋转不变性及灰度不变性。[0019]本发明使用卷积神经网络进行人脸表情识别，其可以自动地学习人脸表情特征，减小手工提取特征的复杂程度。
[0020]本发明设计16层结构的卷积神经网络模型，避免因为卷积神经网络模型复杂导致运算缓慢和过拟合现象的发生，同时保证了人脸表情识别率。[0021]本发明具有较好的鲁棒性。当样本个数较小时，实验结果优于传统人脸表情识别方法。
附图说明
[0021]图1为本发明实施例的流程框图。[0022]图2为JAFFE人脸数据库示意图。[0023]图3为CK+人脸数据库示意图。[0024]图4为图像预处理结果图。
[0025]图5为局部二值模式特征提取流程图。[0026]图6为像素灰度值加权平均算法示意图。[0027]图7为人脸表情图像融合结果示意图。
[0028]图8为JAFFE表情库不同卷积层数对识别率的影响示意图。[0029]图9为CK+表情库不同卷积层数对识别率的影响示意图。
6
[0017]
CN 112668378 A[0030][0031][0032][0033][0034]
说 明 书
4/5页
图10为JAFFE不同融合权值下对识别率的影响示意图。图11为CK+不同融合权值下对识别率的影响示意图。
图12为人脸表情识别不同方法在JAFFE和CK+上的对比实验结果图13为不同样本条件下，JAFFE数据库中，多种方法对比试验结果。图14为不同样本条件下，CK+数据库中，多种方法对比试验结果。
具体实施方式
[0035]为使本发明的技术方案、特征及技术效果更加清楚明白，以下将参考附图详细结合示例性的实施例对本发明的技术方案进行更加清楚、具体的描述，本发明的技术方案步骤如图1所示。[0036]实施例。[0037]步骤一：获取人脸表情图像；本发明所采用的的人脸表情图像是从JAFFE人脸表情数据库和CK+人脸表情数据库这两个常用人脸表情数据库中下载的，其人脸图像示意图依次如图2及图3所示。[0038]步骤二：将所有的人脸表情图像分为训练集和测试集，并对其进行图像预处理。包括数据增强：随机旋转小角度和随即翻转。归一化：数值归一化和尺寸归一化。人脸检测：Haar-like框架。如图4所示[0039]步骤三：利用局部二值模式的编码规则，对人脸表情图像提取纹理特征值，特征值用d表示，其局部二值模式特征提取流程图如图5所示。[0040]步骤四：将局部二值模式提取的特征图与表情灰度图像进行基于像素灰度值加权平均方法的融合。图像融合示意图如图6所示，融合结果如图7所示。[0041]步骤五：将融合后的图像输入到CNN模型的第一层卷积层，卷积核为3×3,，步长为1。
[0042]步骤六：重复步骤S5，卷积2-3次。将卷积后的输出，输入进池化层中，池化方式选取最大池化，池化窗大小为2×2，步长为2。[0043]步骤七：重复步骤五和六n次(n由步骤几实验确定)，将输出输入至全连接层中。卷积神经网络采用反向传播算法，将人脸表情训练集输入，设置学习率为0.001，迭代次数为100。首先进行权重W的随机初始化；而后进行迭代，每次迭代中，通过链式法则计算反向传播误差，然后计算梯度；若梯度的模足够小，则停止；否则用学习率和梯度重新更新权重和偏置。
[0044]步骤八：将全连接层的输出到卷积神经网络输出层中，用softmax分类器计算表情识别概率。
[0045]综上所述，本发明实施例(FERFC)能够对人脸表情图像进行有效地分类，通过对JAFFE和CK+人脸表情库进行实验验证，识别准确率达到95.65％。首先发明进行卷积层数实验，卷积层数会影响表情识别率。若卷积层数过多，会导致CNN模型过拟合；卷积层数过少，会导致表情特征提取不全面，达不到预期效果。卷积层数选取实验结果在JAFFE和CK+上的结果如图8和9所示。然后进行图像融合权值选取实验，取权值α为LBP图像的权重，α每次递增0.1。当α＝0时，为表情灰度图像。α＝1时，为LBP特征提取图像，实验结果在JAFFE和CK+上的结果如图10和11所示，本发明与其他传统人脸表情识别方法(基于卷积神经网络的人脸
7
CN 112668378 A
说 明 书
5/5页
表情识别(FERCN)和基于局部二值模式和卷积神经网络结合(FERLC)的人脸表情识别)的对比试验结果如图12所示。最后验证本发明的鲁棒性，取最佳权值α，当样本数量较少时，实验对比结果在JAFFE和CK+上的结果如图13和14所示。由于实施例相似于方法步骤，所以描述得比较简单，以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
8
CN 112668378 A
说 明 书 附 图
1/5页
图1
图2
图3
9
CN 112668378 A
说 明 书 附 图
2/5页
图4
图5
图6
10
CN 112668378 A
说 明 书 附 图
3/5页
图7
图8
图9
11
CN 112668378 A
说 明 书 附 图
4/5页
图10
图11
图12
12
CN 112668378 A
说 明 书 附 图
5/5页
图13
图14
13