摄像头智能筛选系统的制作方法

文档序号:11411208阅读:637来源:国知局
摄像头智能筛选系统的制造方法与工艺

本发明涉及嵌入式系统、视频处理、硬件加速技术领域,尤其是一种摄像头智能筛选系统。



背景技术:

摄像头作为当代最常见的视频输出源,因其分辨率高,时延低,易于操作等特点,受到广泛的使用。随着科技的发展,摄像头的分辨率会逐渐提高,更高清、更高分辨率的视频数据也终将普及我们的生活。

高分辨率的视频数据就带来了高清视频存储这一难题,高清视频存储在很多领域都是不可避免的一个环节,例如远程监控、实验记录等。但是随着视频分辨率的不断提升,冗余信息的总量也随之不断提高,人们真正感兴趣的视频内容可能仅仅占总视频容量的10%,却占用了大量的存储资源。特别是当需要从这大量的视频中搜索关键信息的时候,不但需要耗费额外人力和大量的时间,同时搜索的精度也远不能达到保证。



技术实现要素:

本发明的目的是针对现有技术的不足而提供的一种摄像头智能筛选系统,该系统弥补了传统摄像头传输数据不但占用大量的信道资源,同时在接收端需要大量存储资源来存放这些数据,而这些数据中真正有价值的信息极少的情况,实现了摄像头数据的高效传输和数据的智能筛选。

本发明的目的是这样实现的:

一种摄像头智能筛选系统,包括电源模块、核心处理器、摄像头采集模块、硬件加速模块、图像增强模块、高速存储模块及传输模块,电源模块与核心处理器、摄像头采集模块、硬件加速模块、图像增强模块、高速存储模块、传输模块

连接,为核心处理器、摄像头采集模块、硬件加速模块、图像增强模块、高速存储模块、传输模块提供工作电源。核心处理器与电源模块、摄像头采集模块、硬件加速模块、图像增强模块、高速存储模块、传输模块相连,其中摄像头采集模块与核心处理器连接,用于采集视频数据并实时传递给核心处理器,硬件加速模块与核心处理器相连,用于为核心处理器提供硬件加速功能,图像增强模块与核心处理器连接,用于减少核心处理器从图像采集模块处获得的图像的噪点,并增强其图像质量。高速存储模块与核心处理器相连,用于存储视频,传输模块与核心处理器连接,用于将处理后的视频传输到以太网或者外接显示器上。

所述摄像头采集模块包块两路摄像头接口,分别支持dvp协议和mipi(2-lane)协议,以适应市面绝大多数的摄像头传感器。

所述硬件加速模块为gpu,硬件加速模块和核心处理器并行处理视频数据,以此加速核心处理器的工作速度。

所述传输模块包括两路视频传输方式,分别为hdmi接口和千兆以太网接口,hdmi接口用于将筛选后的视频数据直接传送到显示器,千兆以太网接口将筛选后的视频数据传送到以太网上。

与现有技术相比,本发明的有益效果是:

(1)、本发明提供了一种基于摄像头端的视频数据筛选方式,删除用户不需要的视频帧,减少了摄像头需要传输的视频总量,减小了信道容量的需求。

(2)、本发明针对信道阻塞的情况,允许摄像头将实时视频流存储于本地,待信道通畅后再传输。

(3)、本发明允许用户自己定义摄像头需要过滤的参数。

附图说明

图1为本发明结构框图;

图2为摄像头采集模块示意图;

图3为传输存储模块示意图;

图4为核心处理器工作流程图。

具体实施方式

以下结合附图及实施例对本发明做详细描述。

实施例

参阅图1,本发明包括电源模块1、核心处理器2、摄像头采集模块3、硬件加速模块4、图像增强模块5、高速存储模块6及传输模块7,电源模块1为核心处理器2、摄像头采集模块3、硬件加速模块4、图像增强模块5、高速存储模块6、传输模块7提供电源。其中摄像头采集模块3包括两路摄像头传感器接口,dvp接口31和mipi接口32,用于满足不同的摄像头接口要求;传输模块7包含两路不同的传输接口hdmi接口71和以太网接口72以及以太网phy芯片73。

参阅图2,摄像头采集模块3包括两路摄像头传感器接口,dvp接口31和mipi接口32,mipi接口31以ov5640为例,对于mipi接口,用到的主要信号线为两对信号差分线,一对时钟差分线和启动信号pwn。在启动信号置位的情况下,通过输入符合ov5640要求的时钟信号,采用的时钟为占空比50%频率24mhz的方波信号,ov5640的信号线会输出摄像头采集到的实时视频。dvp接口31以ov5642为例,对于dvp接口,用到的信号线为8根数据线,行、场同步线,时钟线,同样对时钟线输入符合ov5642要求的时钟信号,采用的时钟为占空比50%频率24mhz的方波信号,ov5642会输出相对应的行场同步信号和视频数据。

硬件加速模块4为gpu,以gc2000为例。gc2000在系统中的工作分为以下几点:①待处理的视频数据需要规定的bgr24像素格式,但是摄像头采集来的数据的格式不固定,因此需要用gpu来进行高速的像素格式转换。②核心处理器2进行模板匹配的时候需要gpu的同步协助,表现在当核心处理器2将对应的视频帧划分为若干小区域后,gpu将顺次接收核心处理器2划分的区域,通过计算各区域和模板的均方差是否小于判决阈值来判断此区域是否是用户感兴趣的。若一帧数据内没有用户感兴趣的数据,则gpu丢弃数据,并且向核心处理器2返回未找到感兴趣区域的信息,并提交下一帧的请求。若找到,则不再处理当前帧的其余数据,并向核心处理2回复找到感兴趣区域的信息,并提交下一帧的请求。

图像增强模块5为fpga,此处以cyclone4系列芯片为例,fpga和核心处理器2连接的接口为核心处理器2的eim接口,最大速率可达24bit*80m/s=1.875gbit/s,而1080p@30的视频流数据为1920*1080*30*3*8约为1.39gbit/s,因此eim接口足以满足时序要求。fpga在系统中的工作主要分两步:第一步,对采集到的数据作中值滤波,去除在摄像头采集过程中引入的椒盐噪声;第二步,因为摄像头在采集过程中可能存在色彩的畸变,因此做一次阿尔法矫正,参数由摄像头引起的畸变量而定。

高速存储模块6为支持sata接口或者msata的硬盘。

参阅图3,传输模块7包括hdmi接口71、千兆网接口72和相对应的以太网phy芯片73,型号分别以10029449-001rlf、hr911130c和ar8031为例。hdmi接口用于直接传输视频信号,ar8031用于将核心处理器2需要传输的网络包转换为hr911130c能够传输的信号,hr911130c则是标准的千兆以太网接口,用于接插网线。

参阅图4,核心处理器2以imx6q为例,系统上电后,各个模块开始工作,过程如下:imx6q加载操作系统,初始化操作系统,读取默认参数。核心处理器2请求摄像头采集模块3输出视频流,请求协议为v4l2,若请求失败,说明摄像头采集模块3未能成功启动,此时系统查看默认参数中是否有配置网络摄像头的相关参数,若无,则等待人工干预,若存在,则将请求的参数从摄像头采集模块3转换为网络摄像头,重新进入请求摄像头阶段。若请求摄像头采集模块3输出视频流成功,说明摄像头采集模块3工作正常。之后核心处理器2会请求硬件加速器4,若硬件加速器4回复请求,说明硬件加速器4正常工作,之后硬件加速器会协同核心处理器处理视频数据。若硬件加速器4无回复,说明硬件加速器4启动失败,在无硬件加速器4协同的情况下,核心处理器2最大的处理速度仅可以支持1920x1080@15hz的视频数据,因此将摄像头关闭后,重新配置摄像头刷新率为15hz;若默认参数已经设置为15hz或者硬件加速器4回复了请求,则核心处理器2请求图像增强器5。图像增强器5如无回复,则表示图像增强5启动失败,之后将会取消系统的图像增强功能,同时将图像增强器5在硬件上配置为直通模式。之后系统正式进入视频帧的请求阶段,核心处理器2请求视频帧,请求到后将视频帧发送给图像增强模块5,若图像增强模块5工作正常,则图像增强模块5会对收到的视频帧进行降噪处理,减少因为信号完整性等问题引起的椒盐噪声,同时增强图像的对比度,使图像更容易被系统分辨。若图像增强模块5在启动时失败,则被配置成直通模式,那么数据被传入图像增强模块5之后会直接再被传回核心处理器2,图像增强模块5的作用相当于导线。待图像增强模块5处理结束,核心处理器2会对数据进行的区域分割,并对分割完的数据与系统存储的关键信息进行比较,一旦关键信息存在,那么就认定这一帧的数据是用户感兴趣的,或者说存在着有用的信息,那么这一帧的数据就会被保存下来,若所有切割完的数据在进行匹配后被认为是不重要的,那么这一帧的数据就会被舍弃,然后再去请求下一帧数据重复相同的工作。在存在有用信息的情况下,核心处理器2会去判断当前的传输模块是否工作正常,如果当前不正常,那么就会把匹配到的数据存储在高速存储模块6,如果正常,那么核心处理器就会把匹配到的数据传输到以太网或者从hdmi口输出。然后回到请求视频帧的阶段,重复相同的工作。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1