reading digital display instrument automatically based on machine vision and d s evidence theory

8
- 122 - http://www.sjie.org/ Scientific Journal of Information Engineering December 2013, Volume 3, Issue 6, PP.122-129 Reading Digital Display Instrument Automatically Based on Machine Vision and D-S Evidence Theory Zhonghong Shen , Qunxing Liu, Chunxu Jiang, Haozhi Zhao The fifth research institute of MIIT, P. R. China, Guangzhou Guangdong Province 510610, P.R. China Email: [email protected] Abstract The automatic reading of digital display instrument is achieved by means of the application of machine vision technology and D-S evidence theory; in the accomplishment of which color space selection threshold binarization and other machine vision techniques are applied at first to preprocess images of the digital display instrument; then the characteristics of pixel distribution in the targeted areas are extracted and listed; further, integrated and assessed by D-S evidence theory to realize the automatic reading. It is demonstrated by a number of experiments that the algorithm characterized by high accuracy and recognition in real time can be applicable to practice after improvement. Keywords: Machine Vision; D-S Evidence Theory; Digital Display Instrument; Reading Automatically 基于机器视觉技术和 D-S 证据理论的数字显示仪 表自动读数 申中鸿,刘群兴,蒋春旭,赵浩之 工业和信息化部电子第五研究所,广东 广州 510610 要:利用机器视觉技术与 D-S 证据理论,实现数字显示仪表的自动读数。首先,利用机器视觉中色彩空间选择,阈 值二值化等技术对数显仪表图像进行预处理;之后,统计并提取目标区域像素分布特征;最后,利用 D-S 证据理论,对 所提取的目标区域特征进行融合判断,实现数字自动读取。经过大量实验验证,该算法具有较高的识别准确度与良好的 实时性,研究改进后可推广应用于实际工业场所的数显仪表读数。 关键字:机器视觉;D-S 证据理论;数字显示仪表;自动读数 引言 对现代工业而言,如何提高生产效率并降低生产成本是众多企业追求的目标,于是,工业生产自动化应 运而生。工业自动化的显著特点是较少人工参与,并具有良好的精确性、及时性。机器视觉以其良好的精确 性、及时性、便捷性、自动性和控制性,成为现代工业自动化应用的一个主要技术手段。由于数显仪表直观 的读数特性,而被广泛的应用于现代工业各个行业,为入们读取测量数据提供了很大的方便。如何利用机器 视觉设备以及机器视觉与模式识别相关知识实现数字显示仪表的自动读数成为众多企业与科研机构的研究 热点。文献 [1-5] 研究了各种图像处理算法在数显仪表显示数字、字符识别中的应用及其改进,所提出的的数字 识别算法具有一定的创新性,但是其在识别准确度与识别效率方面不能达到满意的效果,为提高识别准确度, 本文提出利用机器视觉技术和 D-S 证据理论相结合,实现数显仪表自动读数。 基金资助:受国家科技支撑计划项目(2011BAE01B14),广东省科技计划项目(2011A081304005),国家自然科学基金项目

Upload: menez

Post on 22-Mar-2016

218 views

Category:

Documents


0 download

DESCRIPTION

Zhonghong Shen, Qunxing Liu, Chunxu Jiang, Haozhi Zhao

TRANSCRIPT

Page 1: Reading digital display instrument automatically based on machine vision and d s evidence theory

- 122 -

http://www.sjie.org/

Scientific Journal of Information Engineering December 2013, Volume 3, Issue 6, PP.122-129

Reading Digital Display Instrument Automatically

Based on Machine Vision and D-S Evidence

Theory Zhonghong Shen †, Qunxing Liu, Chunxu Jiang, Haozhi Zhao

The fifth research institute of MIIT, P. R. China, Guangzhou Guangdong Province 510610, P.R. China

†Email: [email protected]

Abstract

The automatic reading of digital display instrument is achieved by means of the application of machine vision technology and D-S

evidence theory; in the accomplishment of which color space selection threshold binarization and other machine vision techniques

are applied at first to preprocess images of the digital display instrument; then the characteristics of pixel distribution in the

targeted areas are extracted and listed; further, integrated and assessed by D-S evidence theory to realize the automatic reading. It

is demonstrated by a number of experiments that the algorithm characterized by high accuracy and recognition in real time can be

applicable to practice after improvement.

Keywords: Machine Vision; D-S Evidence Theory; Digital Display Instrument; Reading Automatically

基于机器视觉技术和 D-S 证据理论的数字显示仪

表自动读数

申中鸿,刘群兴,蒋春旭,赵浩之

工业和信息化部电子第五研究所,广东 广州 510610

摘 要:利用机器视觉技术与 D-S 证据理论,实现数字显示仪表的自动读数。首先,利用机器视觉中色彩空间选择,阈

值二值化等技术对数显仪表图像进行预处理;之后,统计并提取目标区域像素分布特征;最后,利用 D-S 证据理论,对

所提取的目标区域特征进行融合判断,实现数字自动读取。经过大量实验验证,该算法具有较高的识别准确度与良好的

实时性,研究改进后可推广应用于实际工业场所的数显仪表读数。

关键字:机器视觉;D-S证据理论;数字显示仪表;自动读数

引言

对现代工业而言,如何提高生产效率并降低生产成本是众多企业追求的目标,于是,工业生产自动化应

运而生。工业自动化的显著特点是较少人工参与,并具有良好的精确性、及时性。机器视觉以其良好的精确

性、及时性、便捷性、自动性和控制性,成为现代工业自动化应用的一个主要技术手段。由于数显仪表直观

的读数特性,而被广泛的应用于现代工业各个行业,为入们读取测量数据提供了很大的方便。如何利用机器

视觉设备以及机器视觉与模式识别相关知识实现数字显示仪表的自动读数成为众多企业与科研机构的研究

热点。文献[1-5]研究了各种图像处理算法在数显仪表显示数字、字符识别中的应用及其改进,所提出的的数字

识别算法具有一定的创新性,但是其在识别准确度与识别效率方面不能达到满意的效果,为提高识别准确度,

本文提出利用机器视觉技术和 D-S 证据理论相结合,实现数显仪表自动读数。

基金资助:受国家科技支撑计划项目(2011BAE01B14),广东省科技计划项目(2011A081304005),国家自然科学基金项目

Page 2: Reading digital display instrument automatically based on machine vision and d s evidence theory

- 123 -

http://www.sjie.org/

1 机器视觉技术

机器视觉技术,指的是利用模式识别、机器视觉等相关技术对机器视觉设备如摄像机、照相机等采集的

图像进行处理,并根据处理结果给出相关信息以进行识别或控制。机器视觉技术主要涉及模式识别与机器视

觉相关技术,其所涉及的内容有图像预处理(包含色彩模型选择,图像分割,数学形态学处理三个方面),

目标特征选择,目标识别等。

1.1 图像色彩模型选择

RGB 色彩模型是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相

互之间的叠加来得到各式各样的颜色的,RGB 即代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类

视力所能感知的所有颜色,是目前运用最广的颜色系统之一。RGB 色彩模型是通用的面向硬件的模型,广泛

用于彩色监视器和一大类彩色摄像机。

RGB彩色模型可用图1所示的RGB彩色立方体表示,其中,沿主对角线从原点处的黑色“(0,0,0)”到顶点白

色“(1,1,1)”是亮度值。在RGB色彩模型中,R、G、B分量具有高度的相关性,它不需要进行色彩模型的转换,

如果直接对其进行处理,具有较好的实时性。

图1 RGB色彩模型

1.2 图像分割

图像分割方法主要包含阈值分割法、特征空间聚类法、基于区域的方法、基于边缘侦测的方法、模糊集

合方法、神经网络方法等。由于阈值分割方法的实时性较好,且分割效果良好,因此,被广泛的应用于机器

视觉工业应用系统中[6-8]。

阈值分割法的主要思想是在不同的色彩模型与不同的特征维数下,通过图像像素的实际值与设定阈值的

比较,分割出特定的区域。在不同的色彩模型中,均已经出现了一些相对成熟的阈值选取方法,如经验阈值

法、色彩判断法、迭代法、基于灰度直方图的阈值选取方法等。

图像预处理还包括数学形态学处理。数学形态学的基础是作用于物体形状的非线性算子代数,它在很多

方面都要优于基于卷积的线性代数系统。形态学处理的主要目的是增强物体结构(抽取骨骼、细化、粗化、

凸包、物体标记),并从背景中分割物体,以及实现物体量化描述。常见的图像形态学处理主要包括腐蚀与

膨胀两个方面的内容。通常说来,膨胀可扩展目标区域,腐蚀则缩小目标区域。此外,膨胀可以填补凹洞,

腐蚀能够消除细的凸起。

1.3 目标识别

对图像预处理完毕之后,是对图像中的目标区域进行特征提取,并据此对其完成分类识别。特征提取指

的是对经预处理后,利用形状或者颜色信息检测到的目标区域进行进一步的信息特征提取,并使得提取的特

征能够准确的描述或表达目标区域的特性。目标识别系统中分类方法和分类器的设计与分类决策过程是整个

Page 3: Reading digital display instrument automatically based on machine vision and d s evidence theory

- 124 -

http://www.sjie.org/

系统的最后一步,也是最关键的一步,其目的是通过对提取出的感兴趣区域特征进行分析,并结合已有的先

验知识,识别出具体目标。

1.4 常见数字显示仪表数字识别方法

目前,常见的数字显示仪表数字识别主要有基于结构特征的方法——交线法,基于统计特征的方法,神

经网络方法[9-13]。

交线法的识别流程主要为:对预处理后的图像,先通过逻辑定位找到 LED 数字串中各数字四个角的坐标,

然后在数字四个坐标内进行逻辑扫描,根据定义的结构特征来进行数字的识别。交线识别法有一个缺点:不

能对小数点进行有效识别。因此交线识别法只针对 LED 数字串为整数、实时性要求较高的场合。

基于统计特征的方法主要有两种,一种方法可以认为从框架的左边沿到数字之间的距离变化来反映不同

数字的不同形状,以框架左边沿到数字之间的距离用来作为数字分类的依据;另外一种方法是在每个数字图

形上提取特征,定义了一个 7×9 的模板,等于把单个七段码字符平均分成 63 等份,对每一份内的像素个数

进行统计,除以每一份的面积总数,即得特征初值,将特征初值大于 35%(经验值)所对应的模板置为 1,

取得该数字对应的模板,然后根据样品模板进行分类。采用统计的方法对七段码数字进行识别逻辑上非常简

单,而且对小数点识别有效,但是计算量比较大,存储量大,要存储的模板很多,每一个被识别对象要对每

一个模板计算一次相似度,实时性较差,识别率相对交线法要低。这种方法适合于被识别对象为小数 LED、

实时性要求不高的场合。

2 基于机器视觉技术和 D-S证据理论的数字显示仪表自动读数

基于机器视觉技术和 D-S 证据理论的数字显示仪表自动读数处理流程图如下图 2 所示:

机器视觉设备(摄像机、照相机)

色彩空间选择阈值二值化形态学处理面积阈值化

预处理

特征提取

分类识别(D-S证据理论)

图 2 基于机器视觉技术和 D-S 证据理论的数字显示仪表自动读数处理流程

2.1 数字显示仪表图像预处理

2.1.1 色彩空间选择

利用摄像机或者照相机,拍摄某型号数字显示功率计,如下图 3.(a)所示,同时给出其在 RGB 色彩空间

下 R、G、B 三个色彩分量图。从图 3 中,我们可以看到,相对于 G(绿色)色彩分量与 B(蓝色)色彩分量

而言,R(红色)色彩分量下,数字显示仪表所显示的红色数字最为清晰,并且与仪表的其他部分灰度有明

显的差别,即 R 色彩分量对红色数字最为敏感。因此,在 R 色彩分量下对显示红色数字的数显仪表图像进行

处理,具有很好的效果。

图 3.(a) 数显仪表的 RGB 彩色图像 图 3.(b) 数显仪表的 R 色彩分量图

Page 4: Reading digital display instrument automatically based on machine vision and d s evidence theory

- 125 -

http://www.sjie.org/

2.1.2 阈值二值化

以采集的大量实际图像为基础,统计分析,取 R 色彩分量下,阈值分割灰度值为 0.9,即对 R 色彩分量

下数显仪表图像的每一个像素值进行判断,若其值大于 0.9,则将其值重置为 1,否则,重置为 0。对于图 3.(b)

的图像而言,其阈值二值化的效果如图 4 所示:

图 4 阈值二值化后的 R 色彩分量图

针对阈值二值化后之后的图像,可根据实际二值化情况,采取形态学处理和面积阈值化等预处理方法。

图 4 中,阈值二值化后之后的图像噪声较少,也没有发生明显的畸变,因此,可不再进行其他预处理。

2.2 基于 D-S 证据理论的数字显示仪表自动读数

2.2.1 数字显示仪表中数字显示特点

针对数显仪表所显示的数码管数字而言,其组成有一定的特点,即其成像是由七个字段点亮或者熄灭而

定,如下图 5 所示。

a

b

c

d

e

f g

图 5 数字显示仪表中数码管显示数字图例

图 3.(c) 数显仪表的 G 色彩分量图 图 3.(d) 数显仪表的 B 色彩分量图

Page 5: Reading digital display instrument automatically based on machine vision and d s evidence theory

- 126 -

http://www.sjie.org/

其中,数字“1”在数显仪表中,数码管点亮的字段为 b,c;熄灭的字段为 a,d,e,f,g。

数字“2”在数显仪表中,数码管点亮的字段为 a,b,d,e,g;熄灭的字段为 c,f。

数字“3”在数显仪表中,数码管点亮的字段为 a,b,c,d,g;熄灭的字段为 e,f。

数字“4”在数显仪表中,数码管点亮的字段为 b,c,f,g;熄灭的字段为 a,d,e。

数字“5”在数显仪表中,数码管点亮的字段为 a,c,d,f,g;熄灭的字段为 b,e。

数字“6”在数显仪表中,数码管点亮的字段为 c,d,e,f,g;熄灭的字段为 a,b。

数字“7”在数显仪表中,数码管点亮的字段为 a,b,c;熄灭的字段为 d,e,f,g。

数字“8”在数显仪表中,数码管点亮的字段为 a,b,c,d,e,f,g;无字段熄灭。

数字“9”在数显仪表中,数码管点亮的字段为 a,b,c,f,g;熄灭的字段为 d,e。

数字“0”在数显仪表中,数码管点亮的字段为 a,b,c,d,e,f;熄灭的字段为 g。

2.2.2 基于 D-S 证据理论的数字显示仪表自动读数

根据不同字段的点亮与熄灭状态,利用 D-S 证据理论,可以实现 10 个阿拉伯数字的自动分类。表 1 是

数字显示仪表中数码管不同字段的信息源与证据体等统计表。

表 1 数字显示仪表中数码管不同字段的信息源与证据体相关统计表

信息源 证据体 信息源信任度

a 2,3,5,7,8,9,0 1/7

b 1,2,3,4,7,8,9,0 1/8

c 1,3,4,5,6,7,8,9,0 1/9

d 2,3,5,6,8,0 1/6

e 2,8,0 1/3

f 4,5,6,8,9,0 1/6

g 2,3,4,5,6,8,9 1/7

a 1,4,6 1/3

b 5,6 1/2

c 2 1

d 1,4,7,9 1/4

e 1,3,4,5,7,9 1/6

f 1,2,3,7 1/4

g 1,7,0 1/3

表 1 中, a , b , c , d , e, f , g 分别表示数码管中的字段 a, b, c, d, e, f, g 熄灭。

利用 D-S 证据理论[14-16],实现数显仪表自动读数分类的过程如下:

(1)定义由{1,2,3,4,5,6,7,8,9,0}共 10 个阿拉伯数字组成全集 Ω,此即识别框架。在其上定义基本信任指

派函数(BPA): h m [0,1] 。设 m 表示识别框架 Ω任一子集,h(m)表示证据支持命题 m 发生的程度,h(m)

满足如下条件:

1) h 0 ,Ф表示空集;

2) ( ) 1m

h m

若 ( ) 0h m ,则称 m 为该函数的一个焦元。

设信任函数 Bel(m)表示决策者对命题 m 的总信任度,其定义为

( ) ( )n m

Bel m h n

, m , n .

Page 6: Reading digital display instrument automatically based on machine vision and d s evidence theory

- 127 -

http://www.sjie.org/

(2)按照 Dempster 组合规则,对证据体进行合成。首先对信息源“a”和“b”所获得的证据体进行融合。

设基于识别框架 Ω 的两个证据体(以信息源“a”和“b”产生的证据体为例),则有产生两个基本分配函数 h1 和

h2,他们各自包含的焦元分别为“2,3,5,7,8,9,0”和“1,2,3,4,7,8,9,0”,们的组合运算为12 1 2h h h ,

12h 为产生的

新的证据体的基本分配函数。若:

1 2( ) ( ) 1i j

i jA Bh A h B

,则

12 1 2h h h 的定义为:

12 ( ) 0h ;12 1 2( ) ( ) ( )

i ji jA B m

h m K h A h B

其中, 1

1 2[ ( ) ( )]i j

i jA BK h A h B

在此基础上,将所得新的证据体与剩余证据体进行组合,直至最后全部组合完成。表 2 给出信息源“a”

和信息源“b”产生的证据体融合情况表。

表 2 信息源“a”和信息源“b”产生的证据体融合情况表

h1({2,3,5,7,8,9,0})=1/7 h1(Ω)=1-1/7=6/7

h2({1,2,3,4,7,8,9,0})=1/8 h12(2,3,7,8,9,0)=1/56 h12({1,2,3,4,7,8,9,0})=6/56

h2(Ω)=1-1/8=7/8 h12({2,3,5,7,8,9,0})=7/56 h12({Ω})=42/56

再以所得新证据体与余下证据体进行融合,其融合过程与表 2 类似,以信息源“c”产生的证据体

“1,3,4,5,6,7,8,9,0”为例,设其产生的基本分配函数为 h3,则其与信息源“a”和信息源“b”融合所得的新证据体融

合过程如表 3 所示:

表 3 信息源“c”产生的证据体与信息源“a”和信息源“b”融合所得的新证据体融合过程

h12(2,3,7,8,9,0)

=1/56

h12({2,3,5,7,8,9,0})

=7/56

h12({1,2,3,4,7,8,9,0})

=6/56

h12({Ω})

=42/56

h3(1,3,4,5,6,7,8,9,0)

=1/9

h123(3,7,8,9,0)

=1/504

h123(3,5,7,8,9,0)

=7/504

h123(1,3,4, 7,8,9,0)

=6/504

h123(1,3,4,5,6,7,8,9,0)

=42/504

h3(Ω)=1-1/9=8/9 h123(2,3,7,8,9,0)

=8/504

h123(2,3,5,7,8,9,0)

=56/504

h123(1,2,3,4,7,8,9,0)

=48/504 h123(Ω)=336/504

依此类推,最后可得包含于集合{1,2,3,4,5,6,7,8,9,0}的子集或者全集的若干组合的分配函数。在此基础上,

按照信任度计算公式,分析计算决策者对各个单独证据体的总信任度,即有 ( ) ( )n m

Bel m h n

,m其

中,m 表示全集 Ω中任一子集(非空),n 表示包含于 m 的子集(非空),从而得到 (1)Bel , (1,2)Bel ,……,

(0)Bel , ( )Bel 。对这些非零信任度值进行分析,按照最大信任度原则,可得到最终的决策,即根据图像目

标区域中数码管字段的亮与熄灭情况,利用 D-S 证据理论,可以推测出其所显示的数字。

2.3 试验结果

大量的实验证明,本文所提出的利用 D-S 证据理论对数显仪表中的数字进行自动分类,具有良好的效率

(a) (b)

图 6 部分数显仪表自动读数部分试验结果图

Page 7: Reading digital display instrument automatically based on machine vision and d s evidence theory

- 128 -

http://www.sjie.org/

(c) (d)

图 6 部分数显仪表自动读数部分试验结果图(续)

与准确率。部分典型实验结果如图 6 所示。对于识别的数字,均用红色矩形框围住,并用红色十字标注于矩

形正中。本文对 60 幅随机采集的数显仪表图像(原像素尺寸为 2592*1944,处理时缩小为原尺寸的 0.1 倍)

中包含的 587 个数字进行自动分类,其准确率高达 100%;平均每幅图像的识别处理时间约为 976ms。

3 结论

根据机器视觉相关技术,实现数字显示仪表中数字特征的提取,并利用 D-S 证据理论对所得数字特征进

行融合,推断出其所代表的数字,在实验室环境下取得了良好的效果,并具有高达 100%的正确率以及较好

的实时性,下一步的研究方向是将其研究、改进,并推广应用到实际中,实现工业场所中数显仪表的自动读

数,实现检测自动化。

REFERENCES

[1] Lu-yong Sun, Heng-heng Xie, Xiang Wang, et al. Research of data acquisition and display system for flow instrumentation

verification equipment[C]. 2nd International Conference on Information Science and Engineering (ICISE), 2010, 6808-6811

[2] Zeifman, M. , Roth, K., Stefan, J. Automatic recognition of major end-uses in disaggregation of home energy display data[C].

IEEE International Conference on Consumer Electronics (ICCE), 2013, 104-105

[3] Halder, C., Paul, J. , Roy, K.. Comparison of the classifiers in Bangla handwritten numeral recognition[C]. International

Conference on Radar, Communication and Computing (ICRCC), 2012, 272-276

[4] Selvi, P.P., Meyyappan, T. Recognition of Arabic numerals with grouping and ungrouping using back propagation neural

network[C]. International Conference on Pattern Recognition, Informatics and Medical Engineering (PRIME), 2013, 322-327

[5] Hai-jun Lei; Pan-pan Zhang; Xian-yi Li. The Application of an Improved Thinning Algorithm in Numeral Recognition System[C].

International Conference on Multimedia Technology (ICMT), 2010, 1-3

[6] E. R. Davies. Computer and Machine Vision: Theory, Algorithms, Practicalities [M]. 4th edition. Waltham, Elsevier academic

press, 2012

[7] Bo Peng, Lei Zhang, David Zhang, et al. Image segmentation by iterated region merging with localized graph cuts [J]. Pattern

Recognition, 2011, 44: 2527-2538

[8] Theiler, J., Guangzhi Cao, Bachega, L.R., et al. Sparse Matrix Transform for Hyperspectral Image Processing [J]. IEEE Journal of

Selected Topics in Signal Processing, 2011, 5(3): 424-437

[9] Dan You, Ni-ni Xu, Jian-feng Yue. Auto-checking system of LED lamp image on electrical-bicycle meter sets [J]. Journal of

Tianjin Polytechnic University, 2012, 31(1): 78-80

[10] Hai-bo Lin. A Kind of Multipurpose Digital Measurement Instrument Based on Microcontroller[C]. International Conference on

Control Engineering and Communication Technology (ICCECT), 2012, 473-476

[11] Rui-kun Gong, kui Yuan, Shan-po Nian, et al. Real-time reading recognition of digital display instrument based on BP neural

network[C]. 8th IEEE International Conference on Control and Automation (ICCA), 2010, 1233-1238

[12] Zhi-jie He, Bin Zhang, Lian-wen Jin. Highly accurate automatic dial recognition [J]. Computer aided engineering, 2006, 15(3):

Page 8: Reading digital display instrument automatically based on machine vision and d s evidence theory

- 129 -

http://www.sjie.org/

9-12, 18

[13] Meng-fang Sun, Li-wen Zhang, Huo-tao Gao. The Design of Recognition System for Numbers of Detonators Based on Support

Vector Machine [J]. Journal of Wuhan University (Natural Science Edition), 2013, 3: 245-248

[14] Feng-bao Yang, Xiao-xia Wang. Combination method of conflictive evidences in D-S Evidence Theory [M]. Beijing: National

Defence Industry Press, 2010

[15] Zhi-song Wang, Li-wei Tang, Jin-hua Cao, et al. Fault Diagnosis of Automatic System of Antiaircraft Gun Based on D-S Evidence

Theory [J]. Mechanical Science and Technology for Aerospace Engineering, 2013, 32(6): 805-808

[16] Guo K H, Li W L. Combination rule of D-S evidence theory based on the strategy of cross merging between evidences [J]. Expert

System with Applications, 2011, 38: 13360-13366

【作者简介】

申中鸿(1987-),男,汉,硕士,工程

师,研究方向为电子电器产品自动化检

测技术与可靠性检测技术,本、硕皆就

读于北京理工大学。

Email: [email protected]

蒋春旭(1975-),高级工程师,主要从

事电子信息、光电等产品技术领域的综

合质量的研究与评价工作,负责战略性

新兴产业的新技术研究与开拓。

Email: [email protected]