车辆全景图像处理方法及装置与流程

本发明涉及全景图像生成技术领域，特别是涉及车辆全景图像处理方法及装置。

背景技术：

随着图像和计算机视觉技术的快速发展，越来越多的技术被应用到汽车电子领域，传统的基于图像的倒车影像系统只在车尾安装摄像头，只能覆盖车尾周围有限的区域，而车辆周围和车头的盲区无疑增加了安全驾驶的隐患，在狭隘拥堵的市区和停车场容易出现碰撞和刮蹭事件。为扩大驾驶员视野，就必须能感知360°全方位的环境，这就需要多个视觉传感器的相互协同配合作用然后通过视频合成处理，形成全车周围的一整套的视频图像，就是有这类需求，全景视觉泊车辅助系统应运而生。

但是，全景泊车系统标定完成之后，如果车身高度发生变化，则拼接图像拼接质量会受影响，产生拼接错位问题，高度变化越大则错位越严重。

因为大部分车辆在使用过程中不可避免的会有不同程度的承载变化，车身高度变化也不可避免，所以实车使用过程中总会有不同程度的拼接错位问题，使得用户体验差。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供车辆全景图像处理方法及装置，用于解决现有技术中全景图像拼接错位的问题。

为实现上述目的及其他相关目的，本发明提供一种车辆全景图像处理方法，包括：通过设于一车辆上朝向不同方向的多路图像采集装置分别采集图像；识别并收集各路图像中出现的车道线的图像位置数据；利用相邻图像采集装置所采集的关于同一条车道线的图像位置数据来计算各条车道线的空间物理位置；对所述空间物理位置的数据进行处理以估计出车身沉降数据；利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理；利用补偿后的所述标定数据拼接各路图像以生成全景拼接画面。

于本发明的一实施例中，所述识别并收集各路图像中出现的车道线的图像位置数据，包括：识别各路所述图像采集装置所采集图像中的车道线，并获得车道线在标定地平面上的图像位置数据。

于本发明的一实施例中，所述对所述空间物理图像位置数据进行处理以估计出车身沉降数据，包括：选择车道线所在空间物理位置上两个物理点的物理位置数据放入顶点缓冲池；根据积累在所述顶点缓冲池中的物理点的物理位置数据形成物理地面点云数据；将所述地面点云数据通过最小二乘平面拟合获得对应的真实物理地面方程。

于本发明的一实施例中，所述利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理，包括：利用所述真实物理地面方程更新所述标定数据。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头，所述不同方向包括：前、后、左、及右。

为实现上述目的及其他相关目的，本发明提供一种车辆全景图像处理装置，包括：采集模块，用于通过设于一车辆上朝向不同方向的多路图像采集装置分别采集图像；图像识别模块，用于识别并收集各路图像中出现的车道线的图像位置数据；计算模块，用于利用相邻图像采集装置所采集的关于同一条车道线的图像位置数据来计算各条车道线的空间物理位置；数据估计模块，用于对所述空间物理位置的数据进行处理以估计出车身沉降数据；补偿模块，用于利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理；图像拼接模块，用于利用补偿后的所述标定数据拼接各路图像以生成全景拼接画面。

于本发明的一实施例中，所述识别并收集各路图像中出现的车道线的图像位置数据，包括：识别各路所述图像采集装置所采集图像中的车道线，并获得车道线在标定地平面上的图像位置数据。

于本发明的一实施例中，所述对所述空间物理图像位置数据进行处理以估计出车身沉降数据，包括：选择车道线所在空间物理位置上两个物理点的物理位置数据放入顶点缓冲池；根据积累在所述顶点缓冲池中的物理点的物理位置数据形成物理地面点云数据；将所述地面点云数据通过最小二乘平面拟合获得对应的真实物理地面方程。

于本发明的一实施例中，所述利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理，包括：利用所述真实物理地面方程更新所述标定数据。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头，所述不同方向包括：前、后、左、及右。

如上所述，本发明的完整的车辆全景图像处理方法及装置，通过设于一车辆上朝向不同方向的多路图像采集装置分别采集图像；识别并收集各路图像中出现的车道线的图像位置数据；利用相邻图像采集装置所采集的关于同一条车道线的图像位置数据来计算各条车道线的空间物理位置；对所述空间物理位置的数据进行处理以估计出车身沉降数据；利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理；利用补偿后的所述标定数据拼接各路图像以生成全景拼接画面；利用路面车道线信息来对标定数据进行处理分析监测，以避免拼接错位，使得任何时刻全景画面都处于较好的拼接效果。

附图说明

图1显示为本发明于一实施例中车辆全景图像处理方法的流程示意图。

图2显示为本发明于一实施例中车辆全景图像处理方法的一步骤分支展开的流程示意图。

图3a及3b显示为现有技术与本发明生成的全景鸟瞰图的比对示意图。

图4显示为本发明于一实施例中车辆全景图像处理装置的模块示意图。。

元件标号说明

401采集模块

402图像识别模块

403计算模块

404数据估计模块

405补偿模块

406图像拼接模块

s101～s106方法步骤

s201～s203方法步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本发明提供一种车辆全景图像处理方法实施例，其包括：

步骤s101：通过设于一车辆上朝向不同方向的多路图像采集装置分别采集图像。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头，所述鱼眼摄像头可设有至少4个，分别设于车辆的前、后、左、右位置，较佳的，是设于车辆的左右车灯位置，以及车辆前、后端的保险杠中部附近位置。

所述鱼眼摄像头至少能采集180度以上视角的图像。

步骤s102：识别并收集各路图像中出现的车道线的图像位置数据。

于本发明的一实施例中，在车道中行驶的过程中，车道线的存在可以作为用于辨识路面数据的参考依据，因此，通过图像采集装置识别该些车道线在图像中的图像位置数据。

具体的，关于车道线识别的技术，为常见技术，例如中国专利申请号201510121902.5所公开的“车道识别装置，其具有分界线候选项识别部和分界线候选项修正部。分界线候选项识别部根据摄像头的拍摄图像中具有规定连续性的边缘点，识别出分界线候选项，所述分界线候选项是划分车道的左右一对分界线的候选项。分界线候选项修正部在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别”；又或者如中国专利申请号201410621254.5所公开的“基于360度全景的车道偏离预警方法，包括：s1、在车辆的四周安装若干广角摄像头，使广角摄像头覆盖车辆周围360°的视场区域；s2、由摄像头标定工具箱对广角摄像头采集到的图像进行校正畸变，并实时将图像投影到地面生成360度全景俯视图；s3、利用全景车道线检测二值化算子对360度全景俯视图二值化，利用区域生长法在二值化图像中识别车道线；s4、实时计算车道线与车辆之间的位置关系并预警”，从上述内容可知，车道线识别技术为现有，因此此处不作展开赘述。

步骤s103：利用相邻图像采集装置所采集的关于同一条车道线的图像位置数据来计算各条车道线的空间物理位置。

具体的，该步骤s103是通过识别各路所述图像采集装置所采集图像中的同一条车道线上，通过获得该同一条车道线在标定地平面上的图像位置数据，从而可计算对应的同一条车道线实际的空间物理位置，即从图像坐标到物理坐标的转换。

步骤s104：对所述空间物理位置的数据进行处理以估计出车身沉降数据。

如图2所示，步骤s104具体可包括：

步骤s201：选择车道线所在空间物理位置上两个物理点的物理位置数据放入顶点缓冲池。

于本发明的一实施例中，所述两个物理点可以是同一车道线在相邻两个图像采集装置所采集图像中对应相接位置的顶点。

步骤s202：根据积累在所述顶点缓冲池中的物理点的物理位置数据形成物理地面点云数据。

于本发明的一实施例中，在所述顶点缓冲池中的物理点数量积累到一定程度后，可通过该些物理点的物理位置数据形成车道线的地面点云数据。

所谓“点云”，是在目标表面特性的海量点集合，根据激光测量原理得到的点云，包括三维坐标(xyz)和激光反射强度(intensity)，根据摄影测量原理得到的点云，包括三维坐标(xyz)和颜色信息(rgb)；结合激光测量和摄影测量原理得到点云，包括三维坐标(xyz)、激光反射强度(intensity)和颜色信息(rgb)；在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(pointcloud)。

在本实施例中，采用的是鱼眼摄像头来采集图像数据，因此，所述点云数据中包含了每个物理点的三维坐标以及颜色信息。

步骤s203：将所述地面点云数据通过最小二乘平面拟合获得对应的真实物理地面方程。

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

于本发明的一实施例中，根据地面点云数据，并经过最小二乘平面拟合获得描述地面真实状况(例如是凸出、平面或沉降等情况)的真实物理地面方程。

步骤s105：利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理。

于本发明的一实施例中，原标定数据可能是基于标定地平面获得的数据，不存在凹凸、沉降等情况，则通过能反映地面真实状况的真实物理地面方程即可对所述标定数据进行补偿更新。

步骤s106：利用补偿后的所述标定数据拼接各路图像以生成全景拼接画面。

于本发明的一实施例中，通过补偿后的标定数据来拼接各路图像所生成的全景拼接画面可以避免错位的问题。

如图3a和图3b所示，分别展示现有的全景鸟瞰图以及采用本发明的方法拼接生成的全景鸟瞰图，从中可见，采用本发明的方法已避免了由于沉降等原因而造成的拼接错位的问题。

如图4所示，本发明提供一种车辆全景图像处理装置实施例，其原理与上述方法实施例大致相同，实施例间可通用的技术特征不作重复赘述；所述车辆全景图像处理装置包括：采集模块401，用于通过设于一车辆上朝向不同方向的多路图像采集装置分别采集图像；图像识别模块402，用于识别并收集各路图像中出现的车道线的图像位置数据；计算模块403，用于利用相邻图像采集装置所采集的关于同一条车道线的图像位置数据来计算各条车道线的空间物理位置；数据估计模块404，用于对所述空间物理位置的数据进行处理以估计出车身沉降数据；补偿模块405，用于利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理；图像拼接模块406，用于利用补偿后的所述标定数据拼接各路图像以生成全景拼接画面。

于本发明的一实施例中，所述识别并收集各路图像中出现的车道线的图像位置数据，包括：识别各路所述图像采集装置所采集图像中的车道线，并获得车道线在标定地平面上的图像位置数据。

具体的，关于车道线识别的技术，为常见技术，例如中国专利申请号201510121902.5所公开的“车道识别装置，其具有分界线候选项识别部和分界线候选项修正部。分界线候选项识别部根据摄像头的拍摄图像中具有规定连续性的边缘点，识别出分界线候选项，所述分界线候选项是划分车道的左右一对分界线的候选项。分界线候选项修正部在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别”；又或者如中国专利申请号201410621254.5所公开的“基于360度全景的车道偏离预警方法，包括：s1、在车辆的四周安装若干广角摄像头，使广角摄像头覆盖车辆周围360°的视场区域；s2、由摄像头标定工具箱对广角摄像头采集到的图像进行校正畸变，并实时将图像投影到地面生成360度全景俯视图；s3、利用全景车道线检测二值化算子对360度全景俯视图二值化，利用区域生长法在二值化图像中识别车道线；s4、实时计算车道线与车辆之间的位置关系并预警”，从上述内容可知，车道线识别技术为现有，因此此处不作展开赘述。

于本发明的一实施例中，所述对所述空间物理图像位置数据进行处理以估计出车身沉降数据，包括：选择车道线所在空间物理位置上两个物理点的物理位置数据放入顶点缓冲池；根据积累在所述顶点缓冲池中的物理点的物理位置数据形成物理地面点云数据；将所述地面点云数据通过最小二乘平面拟合获得对应的真实物理地面方程。

其中，所谓“点云”，是在目标表面特性的海量点集合，根据激光测量原理得到的点云，包括三维坐标(xyz)和激光反射强度(intensity)，根据摄影测量原理得到的点云，包括三维坐标(xyz)和颜色信息(rgb)；结合激光测量和摄影测量原理得到点云，包括三维坐标(xyz)、激光反射强度(intensity)和颜色信息(rgb)；在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”(pointcloud)。

在本实施例中，采用的是鱼眼摄像头来采集图像数据，因此，所述点云数据中包含了每个物理点的三维坐标以及颜色信息。

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

于本发明的一实施例中，所述利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理，包括：利用所述真实物理地面方程更新所述标定数据。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头，所述不同方向包括：前、后、左、及右；所述鱼眼摄像头至少能采集180度以上视角的图像；较佳的，是设于车辆的左右车灯位置，以及车辆前、后端的保险杠中部附近位置。

综上所述，本发明的完整的车辆全景图像处理方法及装置，通过设于一车辆上朝向不同方向的多路图像采集装置分别采集图像；识别并收集各路图像中出现的车道线的图像位置数据；利用相邻图像采集装置所采集的关于同一条车道线的图像位置数据来计算各条车道线的空间物理位置；对所述空间物理位置的数据进行处理以估计出车身沉降数据；利用所述车身沉降数据对图像采集装置的标定数据进行补偿处理；利用补偿后的所述标定数据拼接各路图像以生成全景拼接画面；利用路面车道线信息来对标定数据进行处理分析监测，以避免拼接错位，使得任何时刻全景画面都处于较好的拼接效果。

本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。