基于视觉感知的光伏电站组件阵列错位检测方法与系统与流程

本发明涉及人工智能技术领域，具体涉及一种基于视觉感知的光伏电站组件阵列错位检测方法与系统。

背景技术：

光伏电站在建设过程中常常会出现组件阵列角度和高度不同的情况，造成这种情况的主要原因是工人并没有按照建设规范标准进行组件间的排列摆放，而是仅凭个人主观判断或者工作不认真导致,其次组件在使用过程中经受强风天气也会导致原有阵列位置发生改变。然而组件阵列不一致常常会导致不同组件的输出不同，处以同一阵列的组件会相互影响进而造成失配损失。

传统针对组件阵列不一致进行检测的方法之一是安排管理人员进行逐个检查，但是该方式不仅效率低下而且需耗费较多劳动力。另一种方法是使用无人机搭配rgb相机进行拍照检测，根据电池板的中心点确定相邻电池板之间的距离进而判断是否出现阵列位置变化。

发明人在实践中，发现上述现有技术存在以下缺陷：当出现电池板同方向同角度的平移时，仅根据相邻电池板之间的距离确定光伏组件阵列位置是否变化，会出现判断结果不准确，进而影响光伏电站的发电效率。

技术实现要素：

为了解决上述技术问题，本发明的目的在于提供一种基于视觉感知的光伏电站组件阵列错位检测方法与系统，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于视觉感知的光伏电站组件阵列错位检测方法，该方法包括以下具体步骤：

采集多组电池板方阵图像；

对所述电池板方阵图像进行语义分割和关键点检测以得到每组电池板方阵的第一质心和所述电池板方阵中单个电池板的第二质心；

连接当前电池板方阵的所述第一质心与角点得到第一质心向量；获取相邻所述电池板方阵中靠近所述角点的第二质心向量与所述第一质心向量之间的夹角、所述当前电池板方阵与相邻所述电池板方阵的第一质心的第一质心距离、以及所述第一质心向量和所述第二质心向量分别在所述第一质心距离上的投影长度，进而根据所述夹角、所述第一质心距离和所述投影长度得到相邻所述电池板方阵之间的第一错位程度；

根据所述当前电池板方阵中所述第一质心和每一个所述第二质心的第二质心距离以得到距离均方差，进而根据所述距离均方差得到所述当前电池板方阵的第二错位程度；

根据由所述第一错位程度和所述第二错位程度建立的错位程度模型得到所述当前电池板方阵的错位程度。

进一步地，所述根据所述夹角、所述第一质心距离和所述投影长度得到相邻所述电池板方阵之间的第一错位程度，包括：

获取所述第一质心距离与标准质心距离之间的质心距离差值、所述夹角与标准夹角之间的夹角差值；

通过由所述质心距离差值、所述夹角差值和所述投影长度建立的第一错位程度模型，以得到相邻所述电池板方阵之间的第一错位程度。

进一步地，所述通过由所述质心距离差值、所述夹角差值和所述投影长度建立的第一错位程度模型为：

其中，z1为所述第一错位程度；δθ为所述夹角差值；δd为所述质心距离差值；θs为所述第一质心向量与所述第二质心向量之间的所述标准夹角；ds为所述标准质心距离；xmax为所述投影长度中最大投影长度；xmin为所述投影长度中最小投影长度；α为所述夹角差值的权重值；β为所述质心距离差值的权重值；γ为所述投影长度的权重值。

进一步地，所述根据所述距离均方差得到所述当前电池板方阵的第二错位程度，包括：

获取所述距离均方差与标准距离均方差的差值，进而利用所述差值和所述标准距离均方差得到所述当前电池板方阵的第二错位程度。

进一步地，所述根据由所述第一错位程度和所述第二错位程度建立的错位程度模型得到所述当前电池板方阵的错位程度，包括：

当所述当前电池板方阵存在左右相邻的所述电池板方阵时，利用所述当前电池板方阵与左相邻电池板方阵的所述第一错位程度、所述当前电池板方阵与右相邻电池板方阵的所述第一错位程度和所述第二错位程度建立的所述错位程度模型得到所述当前电池板方阵的错位程度。

第二方面，本发明另一个实施例提供了一种基于视觉感知的光伏电站组件阵列错位检测系统，该系统包括：

图像采集单元，用于采集多组电池板方阵图像；

图像处理单元，用于对所述电池板方阵图像进行语义分割和关键点检测以得到每组电池板方阵的第一质心和所述电池板方阵中单个电池板的第二质心；

第一错位检测单元，用于连接当前电池板方阵的所述第一质心与角点得到第一质心向量；获取相邻所述电池板方阵中靠近所述角点的第二质心向量与所述第一质心向量之间的夹角、所述当前电池板方阵与相邻所述电池板方阵的第一质心的第一质心距离、以及所述第一质心向量和所述第二质心向量分别在所述第一质心距离上的投影长度，进而根据所述夹角、所述第一质心距离和所述投影长度得到相邻所述电池板方阵之间的第一错位程度；

第二错位检测单元，用于根据所述当前电池板方阵中所述第一质心和每一个所述第二质心的第二质心距离以得到距离均方差，进而根据所述距离均方差得到所述当前电池板方阵的第二错位程度；

错位程度获取单元，用于根据由所述第一错位程度和所述第二错位程度建立的错位程度模型得到所述当前电池板方阵的错位程度。

进一步地，所述第一错位检测单元，包括：

差值检测单元，用于获取所述第一质心距离与标准质心距离之间的质心距离差值、所述夹角与标准夹角之间的夹角差值；

建模单元，用于通过由所述质心距离差值、所述夹角差值和所述投影长度建立的第一错位程度模型，以得到相邻所述电池板方阵之间的第一错位程度。

进一步地，所述建模单元中的所述第一错位程度模型为：

其中，z1为所述第一错位程度；δθ为所述夹角差值；δd为所述质心距离差值；θs为所述第一质心向量与所述第二质心向量之间的所述标准夹角；ds为所述标准质心距离；xmax为所述投影长度中最大投影长度；xmin为所述投影长度中最小投影长度；α为所述夹角差值的权重值；β为所述质心距离差值的权重值；γ为所述投影长度的权重值。

进一步地，所述第二错位检测单元中所述根据所述距离均方差得到所述当前电池板方阵的第二错位程度，包括：

获取所述距离均方差与标准距离均方差的差值，进而利用所述差值和所述标准距离均方差得到所述当前电池板方阵的第二错位程度。

进一步地，所述错位程度获取单元中所述根据由所述第一错位程度和所述第二错位程度建立的错位程度模型得到所述当前电池板方阵的错位程度，包括：

当所述当前电池板方阵存在左右相邻的所述电池板方阵时，利用所述当前电池板方阵与左相邻电池板方阵的所述第一错位程度、所述当前电池板方阵与右相邻电池板方阵的所述第一错位程度和所述第二错位程度建立的所述错位程度模型得到所述当前电池板方阵的错位程度。

本发明至少存在以下有益效果：结合相邻电池板方阵之间的夹角、质心距离以及质心向量在质心距离上的投影长度能够精准判断相邻电池板方阵之间的错位程度，同时使得由相邻电池板方阵之间的错位程度和自身的错位程度得到的最终错位程度结果更加严谨，进而能够根据最终错误程度及时采取相应的处理措施，以降低事故隐患，提高光伏电站的发电效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于视觉感知的光伏电站组件阵列错位检测方法的流程图；

图2为本发明一个实施例所提供的一种基于视觉感知的光伏电站组件阵列错位检测方法的步骤流程图；

图3为本发明实施例所提供的关于电池板角点标注的示例图；

图4为本发明实施例中所提供的关于两组电池板方阵的位置示例图；

图5为本发明另一个实施例所提供的一种基于视觉感知的光伏电站组件阵列错位检测系统的结构框图；

图6为本发明实施例所提供的关于第一错位检测单元的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉感知的光伏电站组件阵列错位检测方法与系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于视觉感知的光伏电站组件阵列错位检测方法与系统的具体方案。

参照附图1和附图2，本发明实施例提供了一种基于视觉感知的光伏电站组件阵列错位检测方法，该方法具体包括以下步骤：

步骤s001，采集多组电池板方阵图像。

具体的，本发明实施例主要依靠无人机进行光伏电池板的图像采集工作，需要先对无人机的初始路径以及有效拍照分为提前规划。具体的规划过程为：

1)调节无人机位姿使每次以同一高度和同一位姿拍摄标准的电池板方阵图像和其余电池板方阵图像。

2)本发明实施例中主要通过检测相邻电池板方阵的位置变化以及电池板方阵所对应的角点来检测电池板方阵是否出现位置变化，因此无人机在拍照时每次只针对单排电池板方阵进行拍摄，且为了保证检测结果的准确性，本发明实施例规定无人机每次只需拍摄两组电池板方阵图像。

需要说明的是，由于室外环境多变，可对采集到的电池板方阵图像进行高斯滤波等预处理，预处理后能够得到清晰的电池板方阵图像。

步骤s002，对所电池板方阵图像进行语义分割和关键点检测以得到每组电池板方阵的第一质心和电池板方阵中单个电池板的第二质心。

具体的，本发明实施例将电池板角点作为关键点进行网络训练。本发明实施例采用编码器-解码器结构的dnn网络进行关键点检测，dnn网络的具体训练内容：

1)数据集为无人机采集到的电池板方阵的正视图像，该正视图像可以只含有电池板图像，也可以有部分背景图像。其中随机选择数据集的80％作为训练集，剩余的20％作为验证集。

2)数据集所用标签为关键点标签，参照附图3，在电池板方阵图像中使用关键点来标注出电池板的角点，其中四个角点依次为其标注不同的数字，分别为1、2、3、4。标注过程为先在数据图像同等大小的单通道上标注出目标对应的位置点，而后使用高斯核进行处理，使其形成关键点热斑。

3)dnn网络的损失函数采用均方差损失函数进行训练。

进一步地，本发明实施例对电池板方阵图像利用语义分割的方式识别到电池板方阵中单个电池板的语义分割图。

优选的，本发明实施例采用编码器-解码器结构的dnn网络得到单个电池板的语义分割图，dnn网络的具体训练内容为：

1)将采集到的电池板方阵图像作为训练数据集，对数据集进行标注，其中单个电池板边界框标注为1，边界框内玻璃板标注为2，其他背景图像则标注为0。其中随机选择数据集的80％作为训练集，剩余的20％作为验证集。

2)将图像数据和标签数据输入dnn网络中，编码器抽取图像特征得到特征图，并将通道数变换为类别个数；然后通过解码器将特征图的高和宽变换为输入图像的尺寸，从而输出每个像素的类别。

3)dnn网络中的损失函数使用交叉熵损失函数进行训练。

进一步地，本发明实施例在每一组电池板方阵中根据每个电池板的角点组成的单个电池板方阵轮廓得到每个电池板的第二质心，以及根据电池板方阵的轮廓得到每组电池板方阵的第一质心。

步骤s003，连接当前电池板方阵的第一质心与角点得到第一质心向量；获取相邻电池板方阵中靠近角点的第二质心向量与第一质心向量之间的夹角、当前电池板方阵与相邻电池板方阵的第一质心的第一质心距离、以及第一质心向量和第二质心向量分别在第一质心距离上的投影长度，进而根据夹角、第一质心距离和投影长度得到相邻电池板方阵之间的第一错位程度。

具体的，本发明实施例中对于任意的一组电池板方阵，将每组电池板方阵的质心与该电池板方阵中左上角、右上角进行连接得到两个质心向量。进而根据相邻电池板方阵的质心向量和质心分析相邻电池板方阵之间的第一错位程度。

根据先验知识，对于相邻的两组电池板方阵来说，当两组相邻电池板方阵所对应的质心向量与标准的质心向量相同或者相邻两组电池板方阵的质心距离与标准距离也相同时，相邻的两组电池板方阵也会存在相互错位的情况，因此，仅通过判断质心向量或两个质心之间的距离是否与标准方阵之间的数据一致不足以反映出其错位程度，且容易出现判断错误。

考虑到相邻电池板方阵无论是什么原因造成两者之间的错位，最终均会反映在质心向量与质心距离之间，故，本发明实施例中通过结合相邻电池板方阵中相邻质心向量分别在相邻电池板方阵之间的质心距离上的投影长度来综合反映相邻电池板方阵之间的第一错位程度。

参照附图4，本发明实施例基于两组电池板方阵的质心oa和质心ob为例，获取相邻电池板方阵之间的第一错位程度，具体的过程如下：

1)将电池板方阵的质心oa与该电池板方阵中左上角1、右上角2进行连接得到两个第一质心向量和同理，得到电池板方阵的质心ob的两个第二质心向量和

2)根据质心oa和质心ob得到相邻电池板方阵的第一质心距离，进而将相邻电池板方阵的第一质心距离和相邻电池板方阵的标准质心距离进行比较，得到相邻电池板方阵的质心距离差值δd。

3)根据相邻电池板方阵中第一质心向量和第二质心向量得到相邻质心向量之间的夹角，进而将相邻电池板方阵中相邻质心向量之间的夹角和相邻电池板方阵中相邻质心向量之间的标准夹角进行比较，得到相邻电池板方阵中相邻质心向量的夹角差值δθ。

4)连接质心oa和质心ob得到质心线段oaob，计算第一质心向量在质心线段oaob上的投影长度、第二质心向量在质心线段oaob上的投影长度。

5)考虑到能体现相邻电池板方阵之间的错位程度的各种影响因素，本发明实施例基于夹角、第一质心距离和投影长度建立相邻电池板方阵的第一错位程度模型，进而得到相邻电池板方阵之间的第一错位程度，则该第一错位程度模型为：

其中，z1为第一错位程度；θs为第一质心向量和第二质心向量之间的标准夹角；ds为标准质心距离；xmax为投影长度中最大投影长度；xmin为投影长度中最小投影长度；α为夹角差值的权重值；β为质心距离差值的权重值；γ为投影长度的权重值。

6)对于多组电池板方阵，利用步骤1)至步骤5)能够得到所有电池板方阵中两两之间的第一错位程度。

步骤s004，根据当前电池板方阵中第一质心和每一个第二质心的第二质心距离以得到距离均方差，进而根据距离均方差得到当前电池板方阵的第二错位程度。

具体的，每组电池板方阵中存在多个电池板，强风等因素同样会导致每个电池板方阵中的单个电池板发生位置变化，因此，本发明实施例通过计算电池板方阵中每个电池板的第二质心与电池板方阵的第一质心之间的均方差来反映其自身电池板方阵的第二错位程度，具体的过程为：

1)计算每个电池板与当前电池板方阵之间的第二质心距离，并根据每个电池板对应的第二质心距离得到电池板和当前电池板方阵之间的距离均方差，则距离均方差的计算公式为：

其中，σi为第i组电池板方阵对应的距离均方差；n为电池板方阵中电池板的数量；lj为第j个电池板所对应的第二质心距离；μ为电池板方阵与每个电池板之间第二质心距离的平均值。

2)基于电池板方阵对应的距离均方差，获取当前电池板方阵的第二错位程度，则第二错位程度的计算公式为：

其中，z2为电池板方阵的第二错位程度；δσi为第i组电池板方阵对应的距离均方差与标准距离均方差之间的差值；σs为标准距离均方差。

步骤s005，根据由第一错位程度和第二错位程度建立的错位程度模型得到当前电池板方阵的错位程度。

具体的，本发明实施例根据当前电池板对应的第一错位程度和第二错位程度建立错位程度模型，能够得到电池板方阵的平均错位程度，所述平均错位程度也即是电池板方阵的错位程度。

若当前电池板方阵存在左右相邻的电池板方阵时，本发明实施例中错位程度模型为：

其中，z为电池板方阵的错位程度；z1，il为第i组电池板方阵与其左相邻电池板方阵之间的第一错位程度；z1，ir为第i组电池板方阵与其右相邻电池板方阵之间的第一错位程度。

进一步地，电池板方阵的错位程度z值越大则表示其对应的光伏组件的位姿越异常，因此本发明实施例根据电池板方阵的错位程度对光伏组件进行后处理，以防止因电池板阵列不一致而导致的事故发生。具体后处理的方法为：本发明实施例设置错位程度阈值δ，当电池板方阵的错位程度z大于或等于错位程度阈值δ时，自动进行预警以及时通知管理人员进行调整，使得电池板阵列恢复到正常位姿状态。

优选的，本发明实施例中错位程度阈值δ取经验值，即δ＝0.3。

综上所述，本发明实施例提供了一种基于视觉感知的光伏电站组件阵列错位检测方法，该方法根据相邻电池板方阵之间的第一质心距离、相邻两组电池板方阵中相邻质心向量之间的夹角以及相邻质心向量在第一质心距离上的投影长度获取相邻电池板方阵之间的第一错位程度；根据电池板方阵中的每个电池板与对应的电池板方阵之间的第二质心距离以得到该电池板方阵对应的距离均方差，进而根据距离均方差获取该电池板方阵的第二错位程度；结合第一错位程度和第二错位程度得到该电池板方阵的错位程度。结合相邻电池板方阵之间的夹角、质心距离以及质心向量在质心距离上的投影长度能够精准判断相邻电池板方阵之间的错位程度，同时使得由相邻电池板方阵之间的错位程度和自身的错位程度得到的最终错位程度结果更加严谨，进而能够根据最终错误程度及时采取相应的处理措施，以降低事故隐患，提高光伏电站的发电效率。

基于与上述方法相同的发明构思，本发明实施例提供了一种基于视觉感知的光伏电站组件阵列错位检测系统。

参照附图5，本发明实施例提供了一种基于视觉感知的光伏电站组件阵列错位检测系统，该系统包括图像采集单元10、图像处理单元20、第一错位检测单元30、第二错位检测单元40以及错位程度检测单元50。

图像采集单元10用于采集多组电池板方阵图像。

图像处理单元20用于对所述电池板方阵图像进行语义分割和关键点检测以得到每组电池板方阵的第一质心和所述电池板方阵中单个电池板的第二质心。

第一错位检测单元30用于连接当前电池板方阵的第一质心与角点得到第一质心向量；获取相邻电池板方阵中靠近角点的第二质心向量与第一质心向量之间的夹角、当前电池板方阵与相邻电池板方阵的第一质心的第一质心距离、以及第一质心向量和第二质心向量分别在第一质心距离上的投影长度，进而根据夹角、第一质心距离和投影长度得到相邻电池板方阵之间的第一错位程度。

第二错位检测单元40用于根据当前电池板方阵中第一质心和每一个第二质心的第二质心距离以得到距离均方差，进而根据距离均方差得到当前电池板方阵的第二错位程度。

错位程度获取单元50用于根据由第一错位程度和第二错位程度建立的错位程度模型得到当前电池板方阵的错位程度。

进一步地，参照附图6，第一错位检测单元30包括差值检测单元31和建模单元32：

差值检测单元31用于获取第一质心距离与标准质心距离之间的质心距离差值、夹角与标准夹角之间的夹角差值；

建模单元32用于通过由质心距离差值、夹角差值和投影长度建立的第一错位程度模型，以得到相邻电池板方阵之间的第一错位程度。

进一步地，建模单元中的第一错位程度模型为：

其中，z1为第一错位程度；δθ为夹角差值；δd为质心距离差值；θs为第一质心向量与第二质心向量之间的标准夹角；ds为标准质心距离；xmax为投影长度中最大投影长度；xmin为投影长度中最小投影长度；α为夹角差值的权重值；β为质心距离差值的权重值；γ为投影长度的权重值。

进一步地，第二错位检测单元中根据距离均方差得到当前电池板方阵的第二错位程度，包括：

获取距离均方差与标准距离均方差的差值，进而利用差值和标准距离均方差得到当前电池板方阵的第二错位程度。

进一步地，错位程度获取单元中根据由第一错位程度和第二错位程度建立的错位程度模型得到当前电池板方阵的错位程度，包括：

当当前电池板方阵存在左右相邻的电池板方阵时，利用当前电池板方阵与左相邻电池板方阵的第一错位程度、当前电池板方阵与右相邻电池板方阵的第一错位程度和第二错位程度建立的错位程度模型得到当前电池板方阵的错位程度。

综上所述，本发明实施例提供了一种基于视觉感知的光伏电站组件阵列错位检测系统，该系统将图像采集单元10得到的电池板方阵图像输入图像处理单元20得到电池板方阵的第一质心和电池板方阵中单个电池板的第二质心；基于电池板方阵的第一质心在第一错位检测单元30根据相邻电池板方阵之间的第一质心距离、相邻两组电池板方阵中相邻质心向量之间的夹角以及相邻质心向量在第一质心距离上的投影长度获取相邻电池板方阵之间的第一错位程度；基于单个电池板的第二质心在第二错位检测单元40根据电池板方阵中的每个电池板与对应的电池板方阵之间的第二质心距离以得到该电池板方阵对应的距离均方差，进而根据距离均方差获取该电池板方阵的第二错位程度，进而在错位程度获取单元50结合第一错位程度和第二错位程度得到该电池板方阵的错位程度。结合相邻电池板方阵之间的夹角、质心距离以及质心向量在质心距离上的投影长度能够精准判断相邻电池板方阵之间的错位程度，同时使得由相邻电池板方阵之间的错位程度和自身的错位程度得到的最终错位程度结果更加严谨，进而能够根据最终错误程度及时采取相应的处理措施，以降低事故隐患，提高光伏电站的发电效率。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。