一种全景视频拼接的处理方法及系统的制作方法
【技术领域】
[0001]本发明涉及视频处理技术领域，尤其涉及一种全景视频拼接的处理方法及系统。
【背景技术】
[0002]全景视频(panoramic video)指的是超过一般视野的广角视频内容。通常我们所说的环形/柱形360度视频提供了水平方向360度的视野。球形的全景则纵向可达到180度，从而覆盖了用户所处的整个三维空间，全景视频可以给用户更加具有沉浸感的体验，在很多领域都可以得到应用，如虚拟现实，安防，监控，电影，视频通讯，教育，旅游等。
[0003]常用的全景视频获取方式是采用多个相机指向不同方向，用软件或硬件将几路视频拼接在一起，图像拼接的基本步骤主要包括:摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接(融合)，以及亮度与颜色的均衡处理等。全景视频拼接还包括视频解压和压缩的步骤，由于全景视频拼接非常复杂，运算量很大，因此通常需要GPU支持，现有的全景视频拼接技术基本依赖于本地软件或硬件拼接，而普通客户端往往没有配备GPU，因此处理全景视频拼接会花费很长时间。
【发明内容】
[0004]本发明的目的是提供一种全景视频拼接的处理方法及系统，该处理方法能够克服客户端运算能力不足的问题，实现快速高效的全景视频拼接。
[0005]一种全景视频拼接的处理方法，所述方法包括:
[0006]客户端将同步后的多路全景视频上传到云端；
[0007]所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，并存储拼接后的全景视频；
[0008]所述客户端从所述云端下载拼接后的全景视频。
[0009]所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，具体包括:
[0010]所述云端针对所接收的多路全景视频，利用在服务器端部署的GPU集群来完成对多路全景视频的拼接。
[0011 ] 所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，具体包括:
[0012]所述云端针对所接收的多路全景视频，构建包含多个处理节点的P2P网络；
[0013]根据视频拼接需求和各个节点的计算能力，将所述多路全景视频推送到一个或多个节点进行拼接处理；
[0014]将一个或多个节点拼接处理后的结果上传到所述云端进行整合，形成最终的拼接后的全景视频。
[0015]所述方法还包括:在某一节点进行拼接处理的过程中，将该节点处理的视频切割成若干小的片段，每完成一个片段的视频拼接就将该片段的拼接结果上传到所述云端；
[0016]如果该节点退出P2P网络，则将该节点未处理的视频片段发送给P2P网络中的其他节点继续进行处理。
[0017]本发明实施例还提供了一种全景视频拼接的处理系统，所述系统包括客户端和云端，其中:
[0018]所述客户端，用于将同步后的多路全景视频上传到所述云端，并从所述云端下载拼接后的全景视频；
[0019]所述云端，用于针对所述客户端发送来的多路全景视频，完成该多路全景视频的拼接，并存储拼接后的全景视频。
[0020]所述客户端进一步包括:
[0021]视频同步模块，用于收集多路全景视频，并通过声音对该多路全景视频进行同步。
[0022]所述云端进一步包括:
[0023]视频拼接模块，用于针对所接收的多路全景视频，利用在服务器端部署的GPU集群完成对该多路全景视频的拼接。
[0024]所述云端进一步包括:
[0025]P2P网络构建模块，用于针对所接收的多路全景视频，构建包含多个处理节点的P2P网络；
[0026]视频推送处理模块，用于根据视频拼接需求和所构建的P2P网络中各个节点的计算能力，将所接收的多路全景视频推送到一个或多个节点进行拼接处理；
[0027]视频整合模块，用于接收一个或多个节点拼接处理后的结果，并将所接收到的结果进行整合，形成最终的拼接后的全景视频。
[0028]所述云端还包括:
[0029]视频切割模块，用于在P2P网络中的某一节点进行拼接处理时，将该节点处理的视频切割成若干小的片段，并在该节点每完成一个片段的视频拼接后，接收该片段的拼接结果；
[0030]续处理模块，用于在P2P网络中的某一节点退出P2P网络时，将该节点未处理的视频片段发送给所述P2P网络中的其他节点继续进行处理。
[0031]由上述本发明提供的技术方案可以看出，该处理方法利用云端来完成全景视频拼接的过程，克服客户端运算能力不足的问题，实现快速高效的全景视频拼接。
【附图说明】
[0032]为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0033]图1为本发明实施例所提供全景视频拼接的处理方法流程示意图；
[0034]图2为本发明所举实例利用P2P网络进行视频拼接的网络架构示意图；
[0035]图3为本发明所举实例具体操作过程的示意图；
[0036]图4为本发明实施例所提供的全景视频拼接处理系统的结构示意图；
[0037]图5为本发明实施例所提供的全景视频拼接处理系统的另一结构示意图；
[0038]图6为本发明实施例所提供全景视频拼接处理系统的另一典型结构示意图。
【具体实施方式】
[0039]下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0040]下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例所提供全景视频拼接的处理方法流程示意图，所述方法包括:
[0041]步骤11:客户端将同步后的多路全景视频上传到云端；
[0042]在该步骤中，客户端收集多路全景视频，然后如果必要则利用客户端包含的分析模块对该多路全景视频进行同步，具体过程为:
[0043]假设每一路视音频文件包含自己的视频和音频，比如每一路视频是由一个相机录制，如果有六路相机录制的视音频文件，那么相应的就可以得到6路音频；
[0044]然后对6路音频做互相关(cross-correlat1n)分析来计算出音频在起始时间上的差异，从而用这个差异去同步相应视频，这里假设同一相机上的视频音频流是同步的。
[0045]然后再将同步后的多路全景视频上传到云端。
[0046]步骤12:所述云端针对所接收的多路全景视频，完成多路全景视频的拼接，并存储拼接后的全景视频；
[0047]在该步骤中，所述云端有两种方案来完成全景视频的拼接，具体来说:
[0048]1)云端针对所接收的多路全景视频，利用在服务器端部署的GPU集群来完成对多路全景视频的拼接；
[0049]但该方案中，由于在服务器端部署GPU集群，可能会引起比较高昂的费用，因此本申请还提出了另一种解决方案。
[0050]2)基于云端和P2P的混合架构
[0051 ] 该方案目的是降低云端的GPU计算，把视频拼接任务放到P2P网络上，这区别于一般的P2P网络用来文件共享、流媒体播放和网络通话等，具体来说:
[0052]所述云端针对所接收的多路全景视频，构建包含多个处理节点的P2P网络；
[0053]根据视频拼接需求和各个节点的计算能力，将所述多路全景视频推送到一个或多个节点进行拼接处理；
[0054]将一个或多个节点拼接处理后的结果上传到所述云端进行整合，形成最终的拼接后的全景视频。
[0055]举例来说，如图2所示为本发明所举实例利用P2P网络进行视频拼接的网络架构示意图，基于图2的网络架构，具体操作过程如图3所示:
[0056]31、客户端登录到云端的索引服务器，上传同步后的视频(例如四路视频)到云端存储服务器，如Amazon S3;
[0057]32、云端索引服务器更新节点信息，构建重叠网络(overlay network)；
[0058]33、视频被推送到一个或多个节点，根据视频拼接需求和节点的计算能力及带宽完成视频拼接，具体可以包括如下操作:
[0059]a)这个推送过程可以有多种形式，根据多路视频的关系而做相应调整。
[0060]可以基于空间