基于卷积神经网络的智能电能表芯片视觉识别比对系统及方法与流程

本发明是属于视觉识别及深度学习技术领域，尤其涉及一种基于卷积神经网络的智能电能表芯片视觉识别比对系统及方法。

背景技术：

智能电能表计量的准确性、稳定性具有重要的社会意义。根据《国网国家电网公司电能表质量监督管理办法》，要严格实施电能表设计方案、主要元器件和程序软件备案管理，加强电能表样品备案和比对管控。各省公司计量中心在供货前抽样、到货后抽样、到货后验收等环节应严格按照备案文件和备案样品进行比对。智能电能表样品比对试验过程管控作为其中关键环节具有重要意义。该环节主要为了确保供货智能电能表pcb板上ic芯片型号与招标列表清单一致。

目前智能电能表供货前和到货后pcb上的ic芯片型号一致性比对的主要检测方法是人工抽检，存在以下问题。

1、随着半导体制造行业的发展，电子元器件逐渐微型化，其上印刷字体尺寸逐渐变小，加之智能电能表有多个电子元器件待识别，人工抽检难度越来越大，存在人为误判及检测效率低下；

2、人工检测比对数据保存不完整，无法追溯比对状态；

3、比对结果需人工录入质检业务管理系统智能化程度低。

技术实现要素：

针对以上现有技术中存在的问题，本发明提出了一种基于卷积神经网络的智能电能表芯片视觉识别比对系统及方法。是一种基于机器学习技术及图像处理技术完成智能电能表pcb电子元器件型号识别技术，其目的是借助于高分辨率工业ccd相机及大环形光源相配合获取清晰稳定的电子元器件图像，通过图像处理算法完成大部分智能电子元器件的自动定位，通过人机协作方式完成无法自动定位元器件区域，通过图像分割技术完成字符区域的自动分割，通过机器学习方法实现元器件上字符自动识别，使用滑轨定位完成不同厂家及不同大小电路板的粗定位。

基于上述发明目的，本发明是通过以下技术方案来实现的：

基于卷积神经网络的智能电能表芯片视觉识别比对系统，包括：在工作平台的台面上设有相对的两条导轨，两块电路板卡槽通过滑块安装在导轨上，电路板放置在两块电路板卡槽中；在工作平台上还连接有支架，支架的顶端通过安装板连接相机防护壳，相机防护壳内连接有相机；相机防护壳前部连接有光源连接板，光源连接板与环形光源相连接，匀光板连接在环形光源的前端；光源控制器通过电缆与环形光源相连接，相机通过千兆网与计算机相连。

所述相机的机身上设有相机固定孔，通过螺丝将相机安装连接在相机防护壳上；光源连接板与相机防护壳为一体结构，光源连接板通过螺丝与环形光源相连接；匀光板通过匀光板安装孔通过螺丝安装连接在环形光源的前端；所述环形光源安装在相机的下方，且中心与相机的镜头中心同轴。

所述电路板卡槽为纵向条形板状结构，下部纵向条形边带有纵向凸台，用于将电路板卡于两个相对的电路板卡槽之间。

所述相机防护壳通过与工作平台上的安装板由螺丝经过安装孔相连接；所述相机防护壳设在相机的外部，与相机的外形相吻合。

所述工作平台是在四个支腿上部固定连接有方形的框架结构台面，其中台面的两个相对的框架为相互平行；在框架台面的边上连接有直角形支架；所述支腿的最下端连接有脚杯，用来调节工作平台台面的高度。

所述的基于卷积神经网络的智能电能表芯片视觉识别比对系统，包括：

智能电能表pcb电路板定位模块：用于实现将电路板放置在ccd相机正下方；

图像采集模块：用于实现pcb电路板图像采集，去噪声；

ic芯片字符识别模块：用于将采集的pcb电路板图像作为输入到ic芯片识别模块；

数据处理模块：用于将识别的芯片型号进行对比，并将芯片型号及电路板图像输入到数据存储模块。

基于卷积神经网络的智能电能表芯片视觉识别比对方法，包括以下步骤：

步骤1.智能电能表pcb电路板定位；

步骤2.智能电能表pcb电路板电子元器件背景及电子元器件字符型号图像采集；

步骤3.芯片候选区域定位及单个字符提取；

步骤4.芯片型号的识别；

步骤5.数据处理及存储。

所述步骤3.芯片候选区域定位及单个字符提取，包括以下步骤：

(1)采集电子元器件图像，将曝光设置为采集电子元器件字符图像的曝光时间，使电子元器件上面的字符型号与电子元器件背景对比度明显，获取清晰的电子元器件字符图像；

(2)然后对所获取的候选区域图像进行自适应阈值；所述自适应阈值采用局部二值化，降低光照不均匀产生的影响，获取更好的字符图像二值化效果；

(3)然后对自适应阈值图像进行形态学滤波，删除面积小的噪声点；

(4)对芯片区域二值化图像进行行投影，利用投影结果得到每行字符在图像上的行起点跟行终点，从而将芯片区域上的多行字符分割成多个行图像；

(5)对行字符图像进行垂直投影分割，从而分割得到多个字符区域，计算每个字符区域的宽度、长宽比及相邻字符间距，根据先验知识确定这个字符区域是否是单个字符区域；如果单个字符区域宽度过小及相邻的字符区域宽度过小，同时字符间距过小这种情况为字符断裂情况将这两个相邻区域进行合并；如果单个字符区域过大，大于两个字符区域宽度，这种情况是字符粘连情况；单独对这个字符区域进行二次分割，将列投影最小的位置作为分割位置；

(6)将处理后的单个字符区域图像进行归一化，得到单个字符归一化图像。

所述步骤4.芯片型号的识别是将归一化的单个字符图像输入训练好的卷积神经网络模型实现数字及字母的识别；包括以下步骤：

第一：离线训练：

(1)采集电子元器件型号样本字符图像，包括数字1-9，大写字母a-z；每个字符需要50个原始样本归一化图像，大小为28x20；

(2)使用样本扩增技术，包括将样本图像平移、旋转、图像缩放、使用膨胀腐蚀改变字体粗细及添加噪声技术使单个字符样本数量拓展至每种字符10000个；

(3)将拓展之后样本图像输入卷积神经网络模型，卷积神经网络提取每种样本图像的卷积层特征；将卷积层特征作为输入，完成卷积神经网络模型参数训练；

第二：在线识别：

(1)将单个字符图像进行归一化处理得到归一化图像，归一化单个字符的图像大小为28x20；

(2)将归一化图像作为输入，提取卷积特征输入到已经离线训练好的卷积神经网络模型分类器得到字符的种类完成字符识别。

所述步骤5.数据处理及存储，包括：

将识别芯片型号数据的结果与招标列表清单型号进行对比，如果对招标文件列表清单型号不一致，则报警，并进行人工确认；如果型号一致，则自动将识别的芯片型号数据及电路板原始图像进行本地存储，并将识别芯片型号通过udp通信技术录入质检业务管理系统。

本发明具有以下优点及有益技术效果：

本发明使用计算机视觉及机器学习技术相结合实现智能电能表pcb板上主要电子元器件型号检测，实现对不同厂家智能电能表上面不同型号、及不同大小的电子元器件型号自动识别。通过人机合作方式完成电路板元器件型号识别及比对数据存储整个流程的管理，使电子元器件比对流程管理规范化、高效化及智能化。

本发明适用于电网计量中心对智能电能表主要元器件备案管理工作，可以快速对电能表供货前抽样、到货后抽样、到货后验收等环节的主要电子元器件型号进行识别和备用样品型号进行比对，提高工作效率。

附图说明

下面将结合本发明实施例中的附图，对本发明实例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

图1是本发明系统结构原理示意图；

图2是本发明系统工作流程结构图；

图3是本发明系统组成模块示意图；

图4是本发明中电路板芯片区域提取结构框图；

图5是本发明中芯片单个字符提取算法流程图；

图6是本发明中基于卷积神经网络训练及识别流程图；

图7是本发明中卷积神经网络ilenet-5框图；

图8是本发明系统结构示意图；

图9是本发明相机防护壳及环形光源安装示意图；

图10是本发明相机防护壳安装板示意图；

图11是图10的侧视图；

图12是本发明电路板卡槽单侧示意图；

图13是图12的侧视图。

图中：相机1，环形光源2，匀光板3，光源控制器4，导轨5，千兆网6，工控机7，电路板卡槽8，滑块9，相机外壳安装沉孔10，相机防护壳11，光源连接板12，工作平台13，支架14，安装板15,电路板16，元器件17，相机固定孔18，防护壳安装螺纹孔19，匀光板安装孔20，安装孔21。

具体实施方式

本发明是一种基于卷积神经网络的智能电能表芯片视觉识别比对系统及方法，是基于机器视觉技术及机器学习技术实现智能电能表pcb电子元器件型号识别及比对的系统及方法。

如图8所示，图8是本发明一种基于卷积神经网络的智能电能表芯片视觉识别比对系统的结构示意图。导轨5固定连接在工作平台13的台面上，在台面相对的两边上各设有一根。所述导轨5为线性导轨，为市售普通的直线导轨。电路板卡槽8通过滑块9放置在线性导轨5上，这样可以通过手动移动电路板卡槽8在线性导轨5上的位置来调节两块电路板卡槽之间的宽度。电路板16放置在两块电路板卡槽8中，电路板16上设有电子元器件17。

所述电路板卡槽8如图12和图13所示，为纵向条形板状结构，下部纵向条形边带有纵向凸台，用于将电路板16卡于两个相对的电路板卡槽8之间。

电路板卡槽的x方向和电路板卡槽的y方向具体是：平行于平台左右方向为x方向，平行于平台前后方向为y方向。

如图9所示，图9是本发明相机防护壳及环形光源安装示意图。相机机身具有相机固定孔18，通过m3螺丝将面阵相机1安装固定在相机防护壳11上，光源连接板12与相机防护壳11通过机械加工为一个整体，光源连接板12通过m3螺丝与环形光源2相连接。匀光板3通过匀光板安装孔20用螺丝安装连接在环形光源2的前端。相机防护壳11通过与工作平台13上的安装板15由螺丝经过安装孔21相连接。所述环形光源2为市售ccs光源。所述匀光板3为市售产品，与环形光源配套使用。所述相机防护壳11设在相机1的外部，与相机1的外形相吻合，如图9所示。

所述工作平台13是在四个支腿上部固定连接有方形的框架结构台面，其中台面的两个相对的框架为相互平行。在框架台面的一个边上的中间位置连接有直角形支架14，在支架14的顶端通过安装板15连接有相机1。在相对的两个框架结构的台面上分别通过螺栓固定连接有导轨5。所述支腿的最下端通过螺丝连接有脚杯，可以调节高度，用来解决地面不平问题。具体使用时通过调节脚杯上的螺丝，调节平台支架距离地面高度。

所述安装板15的具体结构如图10和图11所示，安装板15的四个角部设有安装孔21，用来将螺栓通过安装孔21，使安装板15与支架14相连接。安装板15上还设有四个相机外壳安装沉孔10，通过螺栓将相机1安装连接在安装板15上。

智能电能表芯片视觉识别比对系统结构原理图如图1所示。包括高分辨率ccd相机1、光学镜头、环形光源2、匀光板3、光源控制器4、导轨5、千兆网6、工控机7、基于机器学习的智能电能表芯片视觉识别比对软件。

所述相机1选用2000万像素高分辨率相机。

所述环形光源2是高密度led阵列，具有亮度高且可调，低温，均衡，无闪烁等优点。

所述匀光板3配合环形光源使照明均匀性更好，可以缓解反光问题。

如图1所示，图1是本发明系统结构原理示意图。电子元器件17为电路板16上面待识别型号的电子元器件。电路板16放置在两块电路板卡槽8中，两块电路板卡槽8通过滑块安装在线性导轨10上。调节两块电路板卡槽8在线性导轨5上的位置，使电路板16放置在ccd相机1正下方。环形光源2固定安装在相机1的下方，且中心与相机1的镜头中心同轴。匀光板3固定在环形光源2的前端。光源控制器4通过电缆与环形光源2相连接。ccd相机1通过千兆网与计算机7相连。

如图3所示，图3是本发明系统组成模块示意图。本发明包括智能电能表pcb电路板定位模块、图像采集模块、ic芯片字符识别模块以及数据处理模块。智能电能表pcb电路板定位模块用于实现电路板放置在ccd相机正下方，然后图像采集模块实现pcb电路板图像采集。将采集的pcb电路板图像作为输入到ic芯片识别模块，实现ic芯片字符型号识别。将识别的芯片型号作为输入到数据存储模块。

所述智能电能表pcb电路板定位模块包括滑轨，用于实现不同大小电路板放置在ccd相机正下方。

所述图像采集模块包括：相机、环形光源以及匀光板，用于实现电路板16上的电子元器件17字符型号图像清晰采集。

所述ic芯片字符识别模块包括：图像预处理模块、芯片区域定位模块、字符分割模块以及字符识别模块，图像预处理模块用于实现电路板图像噪声去除。芯片区域定位模块用于实现电子元器件图像区域定位。字符分割模块用于实现芯片区域图像的单个字符分割，字符识别模块用于实现单个字符的识别。

所述数据处理模块包括：型号比对模块和数据存储模块，型号比对模块用于实现ic芯片型号与招标列表清单对比。数据存储模块用于实现芯片型号及电路板图像本地存储。

如图2所示，图2是本发明系统工作流程结构图，具体包括如下步骤：

步骤1.智能电能表pcb电路板定位。

首先根据不同厂家供货的智能电能表pcb电路板尺寸，调整导轨上电路板卡槽y方向位置和两个电路板卡槽之间的宽度，打开视觉识别比对软件实时显示功能，调整智能电能表pcb电路板在电路板卡槽的x方向放置位置，使智能电能表pcb电路板放置在高分率相机1的中心的正下方。

步骤2.智能电能表pcb电路板电子元器件背景及电子元器件字符型号图像采集。

首先采集电子元器件背景图像，软件自动设置采集智能电能表pcb电路板电子元器件背景时的电流大小及相机曝光视觉，通过光源驱动器控制环形光源2照明强度，高分辨相机获取智能电能表pcb电路板上电子元器件的高清晰图像信息采集，所述电流大小及曝光时间设置目的是为了增强芯片与pcb电路板之间的图像对比度，为后续芯片定位提供保证。

然后系统自动设置调节光源驱动器电流大小及曝光时间获取智能电能表电子元器件上字符型号的高清晰图像信息采集，所述的电流大小及曝光时间设置目的是为了增强字符型号与芯片背景对比度，为字符提取与识别提供保证。相机采集的图像是通过千兆网传输至工控机上。

步骤3.芯片候选区域定位及单个字符提取。

如图4所示，图4是本发明中电路板芯片区域提取结构框图。采用基于版面分析和边缘检测的方法实现芯片矩形区域的定位。首先对pcb板图像进行滤波，滤除噪声。然后对图像进行二值化处理得到二值化图像，然后使用形态学技术删除小面积噪声，然后使用边缘提取技术提取图像中符合面积条件的区域的轮廓，计算轮廓的矩形度及长宽比等参数得到芯片矩形区域的定位。

接下来将曝光时间设置为采集电子元器件图像的曝光时间，并对芯片区域上单个字符图像进行分割提取，如图5所示，图5是本发明中芯片定位及单个字符提取算法流程图。包括以下步骤：

(1)采集电子元器件图像，将曝光设置为采集电子元器件字符图像的曝光时间，使电子元器件上面的字符型号与电子元器件背景对比度明显，获取清晰的电子元器件字符图像。

(2)然后对所获取的候选区域图像进行自适应阈值；所述自适应阈值采用局部二值化，降低光照不均匀产生的影响，获取更好的字符图像二值化效果。

(3)然后对自适应阈值图像进行形态学滤波，删除面积小的噪声点。

(4)对芯片区域二值化图像进行行投影，利用投影结果得到每行字符在图像上的行起点跟行终点，从而将芯片区域上的多行字符分割成多个行图像。

(5)对行字符图像进行垂直投影分割，从而分割得到多个字符区域，计算每个字符区域的宽度、长宽比及相邻字符间距，根据先验知识确定这个字符区域是否是单个字符区域。如果单个字符区域宽度过小及相邻的字符区域宽度过小，同时字符间距过小这种情况为字符断裂情况将这两个相邻区域进行合并。如果单个字符区域过大，大于两个字符区域宽度，这种情况是字符粘连情况。单独对这个字符区域进行二次分割，将列投影最小的位置作为分割位置。

(6)将处理后的单个字符区域图像进行归一化，得到单个字符归一化图像。归一化处理的目的主要是为了适应不同型号电子元器件上面字符大小不一致问题。

步骤4.芯片型号的识别。

将归一化的单个字符图像输入训练好的卷积神经网络模型实现数字及字母的识别。卷积神经网络模型在使用之前需要离线训练。如图6所示，图6是本发明中基于卷积神经网络训练及识别流程图。

包括以下步骤：

第一：离线训练。

(1)采集电子元器件型号样本字符图像，包括数字1-9，大写字母a-z。每个字符需要50个原始样本归一化图像，大小为28x20。

(2)使用样本扩增技术，包括将样本图像平移、旋转、图像缩放、使用膨胀腐蚀改变字体粗细及添加噪声技术使单个字符样本数量拓展至每种字符10000个。

(3)将拓展之后样本图像输入卷积神经网络模型，卷积神经网络提取每种样本图像的卷积层特征。将卷积层特征作为输入，完成卷积神经网络模型参数训练。

第二：在线识别。

①将单个字符图像进行归一化处理得到归一化图像，归一化单个字符的图像大小为28x20。

②将归一化图像作为输入，提取卷积特征输入到已经离线训练好的卷积神经网络模型分类器得到字符的种类完成字符识别。

如图7所示，图7是本发明中卷积神经网络ilenet-5框图。卷积神经网络模型采用改进lenet-5模型ilenet-5模型，由于卷积神经网络训练需要大量的样本图像，智能电能表上面芯片型号是标准印刷体。所以本发明采用样本扩充技术，实现大量样本图像数据的获取。首先通过智能电能表原始图像得到字符原始样本库，每个字母50个；然后采用小样本数据扩增技术，主要通过仿射变换公式1、形态学及随机噪声添加技术、双线性插值技术，实现样本扩增，将每个字符扩充至10000个。

其中：u表示仿射变化后图像水平坐标u,v表示仿射变化后图像垂直方向坐标v,us表示原始图像水平方向us坐标,vs表示原始图竖直方向vs坐标，m表示仿射变化矩阵参数。

将扩充之后的样本数据作输入实现卷积神经网络模型训练。

步骤5.数据处理及存储。

将识别芯片型号数据的结果与招标列表清单型号进行对比，如果对招标文件列表清单型号不一致，则报警，并进行人工确认。如果对招标文件列表清单型号型号一致，则自动将识别的芯片型号数据及电路板原始图像进行本地存储，并将识别芯片型号通过udp通信技术录入质检业务管理系统。所述质检业务管理系统为现有系统。

虽然以上描述了本发明的具体实施方式，但是本领域内的熟练技术人员应当理解，这些仅是举例说明，可以对这些实施方式做出多种变更或修改，而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。