一种飞行器摄像定位方法与流程

文档序号:14686293发布日期:2018-06-15 00:25阅读:345来源:国知局

本发明涉及飞行器控制技术领域,尤其涉及一种飞行器摄像定位方法。



背景技术:

目前,飞行器着陆定位方法主要包括以下几种形式:

微波着陆引导,由机上设备获得引导数据,其优点是:系统精度高,能满足全天候工作要求;允许飞机任意选择机场航道,适用于作各种起落的各型飞机;系统容量大,能满足空中交通量增加的要求;设备体积小,对场地要求低。但是易受电子干扰。

目视引导,由专职引导员在着陆平台利用信号旗或无线电指令目视引导飞机着舰。这要求引导员既有丰富的指挥经验,又有很强的目测能力。但是,抗阴雨雾云恶劣天气能力不足,也容易出现操作失误。

计算机视觉自主着陆,主要通过安装在飞机上的摄像机,获得着陆点附近的图像,使用计算机视觉算法,估计出飞机的飞行状态和相对于着陆点的位置和方位,结合其他机载传感器,实现飞机的自主着陆控制。

但是,上述技术存在很多缺点:1、无线电导航设备复杂,且易受干扰;2、人工目视控制,抗阴雨雾云恶劣天气能力不足,且容易出现操作失误;3、自主着陆系统对计算能力要求较高;4、着陆平台可能是动平台,动平台做六自由度运动,飞行器相对动平台位置关系复杂。因此,需要一种易操作、抗干扰能力强、适应恶劣环境的定位着陆方法。



技术实现要素:

鉴于上述的分析,本发明旨在提供一种飞行器摄像定位方法,在昼夜条件及各种天气状况下精确定位飞行器相对着陆平台位置,所述方法也可以应用到其他运动物体之间的相互精确定位,用以解决现有技术中存在的各种问题。

本发明的目的主要是通过以下技术方案实现的:

一种飞行器摄像定位方法,包括以下步骤:

步骤1、安装于飞行器上机身两侧各四个呈近似凸四边形安装的激光目标源在激光目标源电控箱进行激光电控下发出激光;

步骤2、在着陆平台上沿飞行器着陆方向左右两侧对称布置的两台近红外广角摄像机对飞行器成像,通过光纤通信模块将两路串行数字图像信号发送给图像处理单元;

步骤3、图像处理单元对接收到的两路串行数字图像信号进行目标源检测分析和目标源检测分析后处理;

步骤4、所述主控系统单元根据图像处理单元发送的结算结果计算出飞行器应移动方向并转化为控制信号;将控制信号发送给飞行器,控制飞行器着陆轨迹。

其中,所述步骤2中,为防止飞行器两侧摄像机采集图像时刻的不同,两台摄像机接收同步信号后同时开始自动曝光。

其中,所述步骤3进一步包括以下步骤:

步骤3.1:数据预处理板通过高速FPGA驱动光纤收发模块与摄像机信息交互,接收通过光纤通信模块传输的两路串行数字图像信号,并将其转换为并行图像数据流,将并行图像数据流通过CPCI插座传输到数据处理板;

步骤3.2:数据处理板通过CPCI插座接收来自数据预处理板的两路图像数据流,同时对两路图像进行目标搜索、捕获、识别与跟踪,分别完成总共八个目标的跟踪测量,实时解算出飞行器相对预期指定着落面的三维空间位置与姿态,将解算结果通过CPCI总线接口送到主控系统单元。

其中,所述步骤3.2进一步包括以下步骤:

步骤3.2.1、激光目标源搜索与捕获,从图像中搜索所有候选目标,并统计每个候选目标的属性特征,为下一步的目标源识别提供信息源;

步骤3.2.2、激光目标源识别,DSP利用每个候选目标的特征信息对多目标捕获和标记处理后的各个候选目标进行识别,用以剔除伪目标,识别出真正感兴趣的真实激光目标源;

步骤3.2.3、激光目标源位置校正,DSP通过计算每个激光目标源的质心位置,并通过摄像机畸变参数完成激光目标源位置校正;

步骤3.2.4、数据解算,DSP采用双摄影测量数学模型完成飞行器位置解算,根据飞行器上的八个激光目标源在飞行器上的位置、两个摄像机相对于参考坐标系的位姿关系、摄像机内部参数和八个像点的图像坐标等信息,用双摄影测量算法计算出飞行器在参考坐标系中的位置和姿态。

其中,所述步骤3.2.1进一步包括以下步骤:

图像增强,使用FPGA滤除图像中背景杂波的干扰,提高图像的信噪比;

图像分割,利用DSP和FPGA相结合的方法,通过统计图像灰度分布特性,利用自适应阈值方式进行图像分割;其中FPGA完成图像灰度信息的统计,DSP计算分割阈值,当阈值计算完成后传回FPGA,FPGA对图像进行图像分割实现目标与背景的分离;

图像滤波,使用FPGA进行,通过腐蚀运算消除图像中小于所选取结构元的目标,通过膨胀运算连接被误分割断裂但属于同一个目标的区域,其中,膨胀运算的结构元大于腐蚀运算的结构元;

多目标捕获和标记,当FPGA完成经过形态学处理的二值图像后,进行目标前后沿数据生成;读取目标分割的前后沿数据,进行多目标标记,获得各个目标的特征信息。

其中,所述步骤3.2.2进一步包括以下步骤:

第一次目标判别,根据候选目标特征集中的特征信息剔除虚假的目标,其中目标源的特征信息包括目标源的面积、能量、长宽比;

第二次目标判别,根据目标之间呈现近似凸四边形的几何关系,搜索到真实目标源点;

第三次目标判别,对真实目标源点,根据目标轨迹运动连续性进行进一步判别。

其中,所述步骤3.2进一步包括以下步骤:

如果飞行器两侧四个目标点中各少一个目标点,利用跟踪的六个目标参与双摄影测量进行飞行器定位,同时进行全视场搜索目标;

如果只有一侧四个目标识别并稳定跟踪时,采用四点单摄像机进行飞机定位;

如果飞行器两侧八个目标中,一侧四个目标点中一个至三个目标故障或离开摄像机视场时,利用稳定跟踪的其余目标参与双摄影测量进行飞行器定位,使实时解算数据连续不跳跃,同时全视场搜索丢失目标;

当丢失的目标又复现的时候,对复现的目标进行识别确认、精跟踪后再参与双摄影测量计算,在之前均采用稳定跟踪的其余目标进行双摄影测量计算。

其中,当丢失的目标复现时采用反投影法进行识别确认,利用一侧四个目标采用单摄像机测量算法解算出飞行器位置,利用摄像机的外参数,计算出飞行器另外一侧的目标源在另外一侧图像面的投影坐标,通过在投影点附近可识别确认目标。

本发明的技术效果如下:

1)所述方法采用有源目标源,窄带通滤波器,高质量广角镜头和抗溢出CMOS传感器的组合,在各种情况下能提供用于目标检测的优质图像。

2)所述方法中采用激光目标源作为配合目标,应用808nm发光光源,可以在黑暗中或光照条件很差的情况下看到标志点。

3)所述方法中激光目标源独立,某个损坏不会影响其他的使用

4)所述方法可以在着陆平台纵横摇情况下有效提高捕获一侧飞行器激光目标源概率。

5)所述方法采用光纤传输单元,可以较好的解决电磁屏蔽问题并保证数据传输速度。

本发明的其他特征和优点将在随后的说明书中阐述,并且,部分的从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。

图1为飞行器摄像定位系统工作原理框图;

图2为图像处理单元工作原理框图;

图3为数据预处理板工作原理框图;

图4为多DSP协同工作原理框图;

图5为数据处理板工作流程图;

图6为激光目标源捕获过程处理流程图;

图7为激光目标源识别处理流程图;

图8为激光目标源丢失又重新捕获的飞行器定位流程图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理。

如图1所示,一种飞行器摄像定位方法,包括以下步骤:

步骤1、安装于飞行器上机身两侧各四个呈近似凸四边形安装的激光目标源在激光目标源电控箱进行激光电控下发出激光;呈近似凸四边形安装的激光目标源在摄像机所成图像中便于利用凸四边形的几何关系算法识别出对应的目标源图像并在结算中进行对应;

所述激光目标源为中心波长在近红外波段的激光二极管,发出的光形成一个中心波长为808nm,带宽4nm的光谱,可有效区别于可见光波长,有利于提取目标,且对人眼安全;近红外波段光730nm-950nm有着很强的水汽穿透能力,可以在大雾下工作;所述激光二极管通过光纤连接扩束镜头,使发射光分布呈超过九十度的锥型体且光束照射均匀性比值不小于80%;

步骤2、在着陆平台上沿飞行器着陆方向左右两侧对称布置的两台近红外广角摄像机对飞行器成像,通过光纤通信模块将两路串行数字图像信号发送给图像处理单元;

其中,所述近红外摄像机采用短焦距5.7mm,90度大视场广角光学镜头;光学镜头上采用镀滤光膜设计,一层滤光膜可以截止波长815nm至1100nm的光,另一层滤光膜可截止800nm以下的所有光;两层滤光膜的组合起到了极窄带通滤波器的作用,阻止了通过带宽(800-815nm)以外的各种波长的环境光。环境光的减少使在各种光照条件下检测相对低能量的目标源成为可能;

所述近红外摄像机采用高速CMOS传感器,传感器有2048×2048个有效像素,分布于11mm×11mm区域上,全分辨率输出最高帧率为180帧每秒;考虑到传感器与镜头的资源平衡及飞行器定位精度需求,从CMOS中选取1536×1536像素读出,100帧每秒的图像的发送需求带宽为3.2G,光纤通信模块中的光纤收发芯片采用8b/10b编码,物理带宽为2Gb,光纤一路通道有效带宽为1.6Gb,因此需要两路光纤通道进行数据传输,也可以采用更高带宽的光纤通道。利用FPGA把相邻像元采取2×2合并,得到768×768像素图像,等效像元尺寸为11um×11um,分布区域为8.4mm×8.4mm。

所述近红外摄像机可以根据光照等情况调节曝光时间的长短,即根据上一帧或上几帧的图像灰度统计信息制定本帧的曝光策略,使图像有较好的成像质量;

为防止运动目标两侧摄像机采集图像时刻的不同,两台摄像机接收同步信号后同时开始自动曝光。同步信号电气特性符合RS422标准,0.2V<Va-Vb<5V表示“0”;-5V<Va-Vb<-0.2V表示“1”,脉宽30ms,上升沿不大于1us的脉冲,信号A是正脉冲,信号B是负脉冲。同步信号传输采用四芯电缆,电缆1、2芯作为信号地,3、4芯分别连接信号A、B。

摄像机每秒收到秒脉冲后按时序发出30帧图像,每帧图像从开始爆光到传输完毕时间小于10ms。摄像机最快可完成每秒100帧图像的发送。

步骤3、图像处理单元对接收到的两路串行数字图像信号进行目标源检测分析和目标源检测分析后处理,如附图图2所示,所述图像处理单元包括数据预处理板和数据处理板,所述数据预处理板和数据处理板均为6UCPCI加固电路板。

步骤3.1:如附图图3所示,所述数据预处理板通过高速FPGA驱动光纤收发模块与摄像机信息交互,接收通过光纤通信模块传输的两路串行数字图像信号,并将其转换为并行图像数据流。预处理板通过CPCI底板自定义接口与数据处理板进行数据交互,将并行图像数据流通过CPCI插座传输到数据处理板;

步骤3.2:数据处理板通过CPCI插座接收来自数据预处理板的两路图像数据流,同时对两路图像进行目标搜索、捕获、识别与跟踪,分别完成总共八个目标的跟踪测量,实时解算出飞行器相对预期指定着落面的三维空间位置与姿态,将解算结果通过CPCI总线接口送到主控系统单元。如附图图4所示,DSP1和DSP2各自执行跟踪过程,二者分别对左右摄像机所成图像进行处理,完成左右两路摄像机中目标捕获和跟踪,当两片DSP完成目标源位置计算后,通过LinkPort口将目标源位置信息发送给DSP3,DSP3利用两路图像中目标源位置信息通过双摄影解算模型完成飞行器位置解算、利用反投影误差判断解算结果正确性,并将解算合理标志和正确的解算结果反馈给DSP1和DSP2。如附图图5所示,具体包括以下几个步骤:目标源搜索与捕获、目标源识别、目标源位置校正、数据解算、摄像机参数标定,其中;

步骤3.2.1、目标源搜索与捕获

目标源搜索与捕获主要是从图像中搜索所有候选目标,并统计每个候选目标的属性特征,为下一步的目标源识别提供信息源。目标源搜索与捕获目标主要包括图像增强、图像分割、图像滤波、多目标捕获与标记4个子步骤。

图像增强

图像增强主要是为了滤除图像中背景杂波(如太阳光照、云层等)的干扰,提高图像的信噪比,有利于目标源的捕获和识别。

图像增强方法是对整幅图像(768×768)进行滤波处理,算法的时间开销和空间开销都非常的大,所以图像增强算法均在FPGA硬件中实时完成,由于一些算法需要先得到视频流中的几行数据后方能实现,故需要在FPGA中预存几个电视扫描行的数据(以5×5的滤波算子为例,需要预存3行)。

太阳光照和天空云层对目标的捕获和识别影响较大,虽然太阳的能量比较大,但是其大部分区域都处在低频部分,而激光目标源可以认为是一个个奇异点,分布在信号的低频部分,所以采用高通滤波的方法对图像进行滤波处理,这样可以有效地滤除太阳等背景杂波的影响。

图像分割

通过统计图像灰度分布特性,利用自适应阈值方式进行图像分割,实现目标与背景的分离。

统计图像灰度分布的过程中,为了提高统计结果的可靠性与实时效率,背景均值不需要在整个波门中进行,对于简单的天空背景图像而言,可以统计局部区域以代替全局统计结果,即只需要计算图像背景的边缘几个局部区域即可。在进行图像分割的过程中利用DSP和FPGA相结合的方法进行,其中FPGA完成图像灰度信息的统计,DSP计算分割阈值,当阈值计算完成后传回FPGA,FPGA对图像进行图像分割。

图像滤波

虽然经过图像增强后,图像上的噪声和干扰大幅减小,然而图像分割后仍可能存在大量的小面积虚假目标及孤立的噪声点,目标标记后,同一个目标仍可能被识别为多个候选目标。同时,大量虚假目标的出现给目标源识别带来了沉重的计算负担。由于真实目标一般具有一定的面积,因此,在标记之前进一步滤除小面积的噪声点,并对同属一个目标的多个被分割断裂区域进行连接,可以减少虚警、提高目标识别概率、降低航迹处理的负担。

图像滤波包括了腐蚀与膨胀运算。腐蚀运算可以消除图像中小于所选取结构元的目标,膨胀则可以连接被误分割断裂但属于同一个目标的区域。将这两个算子串联使用,并使膨胀的结构元大于腐蚀的结构元,则在滤除虚警的同时更完整的保留了真实目标。通常前者结构元尺度选为1×2,后者选为3×3,数学形态学运算是对全视场图像进行,所以该部分在FPGA中进行以提高计算速度。

多目标捕获和标记

如附图图6所示,当FPGA完成经过形态学处理的二值图像后,进行目标前后沿数据生成。目标前后沿即是由目标段起始和结束像素坐标位置组成,目标由各扫描行中目标段组成,连通的目标段同属于一个目标。DSP1/2通过DMA读取目标分割的前后沿数据,进行多目标标记,获得各个目标的特征信息(包括目标大小、目标坐标以及宽度和高度信息)。

多目标捕获和标记处理根据线段连通性对目标进行标记、建立映射表,从而计算出视场中总的目标数目,以及各个目标对应的特征参数,包括目标面积、长、宽以及位置坐标等参数,便于后续目标识别与跟踪。

步骤3.2.2、目标源识别

目标源识别就是DSP1/2利用每个候选目标的特征信息对多目标捕获和标记处理后的各个候选目标进行识别,用以剔除伪目标,识别出真正感兴趣的真实目标源的过程。其中,目标源识别过程涉及到三次目标判别,分别为第一次目标判别、第二次目标判别和第三次目标判别,如附图图7所示。

第一次目标判别是根据候选目标特征集中的特征信息剔除虚假的目标,其中目标源的特征信息包括目标源的面积、能量、长宽比。根据直升飞机在图像视场内的最远和最近运动距离可以确定目标源特征信息的临界范围[Fmax,Fmin],判断每个候选目标源特征信息是否在特征范围[Fmax,Fmin]内,如果不在该范围内将该候选目标源予以剔除。

第二次目标判别根据目标之间呈现近似凸四边形的几何关系,搜索到真实目标源点。由于四个目标源在飞行器上安装近似成凸四边形的关系,根据摄影几何关系,其在图像上的投影点也近似成凸四边形的关系,所以对第一次目标判别后剩余的候选目标源数据集逐一判断是否满足凸四边形关系。凸四边形的判别方法是任意三点组成的三角形,第四点必定位于三角形之外。同时满足凸四边形关系的四个点还要进行两两之间距离的判断,即四边形的两个长边之比和两条宽边之比要在范围[Lmax,Lmin]内,其中范围[Lmax,Lmin]根据飞行器运动距离和角度进行确定。

第三次目标判别对真实目标源点,根据目标轨迹运动连续性进行进一步判别。当搜索到四个目标源点之后,下一步要对目标源真实性进行进一步的判别,通过连续几帧目标运动轨迹的连续性进行判别。由于飞行器运动的连续性,其两侧的目标源点运动也是连续的,所以如果目标源在图像上的投影点在连续几帧满足连续性则为真实目标源点,否则为假目标源点。

步骤3.2.3、目标源位置校正

数据处理板经过目标源搜索与捕获、目标源识别等一系列的信息处理,最终实现对所需要目标位置的精确测量。DSP通过计算每个目标源的质心位置,并通过摄像机畸变参数完目标源位置校正,主要包括目标源位置生成、目标源位置校正。

首先进行目标源位置生成;

通过计算每个目标源点的质心位置,完成飞行器位置解算,该质心位置即为飞行器上空间物理目标源在图像上的投影点。质心位置的计算较为简单,能提供恒增益,不受线性跟踪频率限制,在速度上容易满足系统要求,尤其适用于目标运动速度快、且背景较为简单的情况。当图像函数为h(x,y)时,其行、列的质心坐标(X,Y)由下式计算:

X = Σ x Σ y x h ( x , y ) / Σ x Σ y h ( x , y ) ]]> Y = Σ x Σ y y h ( x , y ) / Σ x Σ y h ( x , y ) ]]>

然后对所生成的目标源进行位置畸变校正;

由于摄像机提供的目标源位置信息存在畸变,所以需要根据摄像机的畸变校正参数对得到的每个目标源位置进行畸变校正。摄像机畸变参数标定采用棋盘格的标定方法事先进行标定。

步骤3.2.4、数据解算

飞行器位置解算由DSP3采用双摄影测量数学模型完成,双摄影测量是一种目标位姿参数测量方法,其具体定义为:两个摄像机同时对一个目标成像,一个摄像机拍摄到目标一侧的四个目标源点,而另一个摄像机拍摄到目标的另一侧的四个目标源点,由目标上的这八个目标源点在目标上的位置、两个摄像机相对于参考坐标系的位姿关系、摄像机内部参数和八个像点的图像坐标等信息,用双摄影测量算法计算出该目标在参考坐标系中的位置和姿态。

双摄影测量算法利用摄像机针孔模型,由每个目标源点可建立两个非线性方程,8个点一共可建立16个方程,得到一个由16个方程构成的6变量的非线性方程组。为求解该超定方程组,先通过几何方法求出一个初始解,再利用牛顿-辛普森迭代法求出最小二乘解。

对于目标源丢失和复现的问题,如附图图8所示,进一步包括以下步骤:

当飞行器进入着陆平台上空初始跟踪中,如果两侧摄像机均捕获到四个目标时,经过三帧确认目标后,稳定跟踪目标并利用两侧八目标参与双摄影测量进行飞行器定位;如果飞行器两侧四个目标点中各少一个目标点,利用跟踪的六个目标参与双摄影测量进行飞行器定位,同时进行全视场搜索目标;当只有一侧四个目标识别并稳定跟踪时,采用四点单摄像机进行飞机定位;

如果飞行器两侧八个目标中,一侧四个目标点中一个至三个目标故障或离开摄像机视场时,利用稳定跟踪的其余目标参与双摄影测量进行飞行器定位,使实时解算数据连续不跳跃,同时全视场搜索丢失目标;其中,单摄像机四目标点定位误差小于5cm;双摄像机8目标点位置测量误差小于3.5cm;飞行器两侧的8个目标点由于设备故障丢失1到3个目标,一侧4个另一侧3个、一侧4个另一侧2个、一侧4个另一侧1个、一侧3个另一侧3个等情况可以进行飞行器定位,定位误差小于4cm,满足系统精度要求。

当丢失的目标又复现的时候,对复现的目标进行识别确认精跟踪后再参与双摄影测量计算,在之前均采用稳定跟踪的其余目标进行双摄影测量计算。其中当丢失的目标复现时采用反投影法进行识别确认,利用一侧四个目标采用单摄像机测量算法解算出飞行器位置,利用摄像机的外参数,可以计算出飞行器另外一侧的目标源在另外一侧图像面的投影坐标,通过在投影点附近可识别确认目标。

数据处理板在外同步时序控制下进行工作,接收来自主控系统单元的CPCI控制命令,根据任务需求执行数据装订、故障诊断、待机唤醒以及目标搜索、提取、位置解算等任务,CSCI接收的控制命令将指明程序的工作状态。

步骤4、所述主控系统单元根据图像处理单元发送的处理结果计算出飞行器应移动方向并转化为控制信号;将控制信号发送给飞行器,控制飞行器着陆轨迹。或者,主控系统单元将图像处理单元发送的处理结果作为快速系留装置跟踪模式和飞行员视觉提示器显示输出的控制依据。

本发明的技术效果如下:

1)有源目标源,窄带通滤波器,高质量广角镜头和抗溢出CMOS传感器的组合在各种情况下能提供用于目标检测的优质图像。

2)系统中采用激光目标源作为配合目标,应用808nm发光光源,可以在黑暗中或光照条件很差的情况下看到标志点。

3)飞行器两侧的八个镜头的光源独立,某个损坏不会影响其他的使用

4)两台摄像机对称布置,可以在着陆平台纵横摇情况下有效提高捕获一侧飞行器激光目标源概率。

5)采用光纤传输单元,可以较好的解决电磁屏蔽问题。

本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1