一种基于手机扫描的人体3D建模方法与流程

文档序号:14475323阅读:416来源:国知局
一种基于手机扫描的人体3D建模方法与流程

本发明属于3d建模领域,具体涉及一种基于手机扫描的人体3d建模方法。



背景技术:

在服饰领域给人体建三维(3d)模型是进行三维虚拟试衣,三维虚拟现实(vr)等应用的基础。

目前国内主要采用以下几种方法来实现。

第一种:三维(3d)软件建模。

第二种:三维(3d)扫描建模。

第三种:模特替换法。

第一种利用三维(3d)软件建立人体三维模型需要利用3d软件工具对模型进行修改塑性。很难在短时间内自动得到与个体对象体型一致的三维模型。因为太耗时,使用者要等待太久,所以在服饰的线上虚拟试衣等应用上,此种建模方式很难被推广商用。

第二种利用三维(3d)扫描建模。需要用专业的3d扫描设备进行扫描。这种方式获得的模型数据最准确的反映了被测对象的体型。但是需要昂贵和体积较大的3d扫描仪设备的支持。最典型的商用(用于虚拟试衣的人体三维建模)是mirrordisplay(魔镜展示)。就是在大型模拟试衣镜框里安装几台传感器和立体扫描仪,当用户走到镜前时,抓取人体身材数据(立体扫描)即时生成三维人体模型,然后用于下一步的虚拟试衣。从中我们可以看到,因为扫描设备太大。只能在服饰领域的实体店安装使用。根本不适合在网上虚拟试衣所需要的人体三维建模。用途受到极大局限。

第三种模特替换法(要是利用3d软件进行模型仿真)有三种替换方式:替换一:少量固定模特替换。就是用几具固定的模特,用户可在移动终端选择一具看上去比较接近自己体形的固定模特进行置换(固定模特用具事先已经过了3d扫描建模)。因为可供选择的固定模特类型有限,很难满足大众不同型体的需要,而且消费者自己也很难判断哪一个模特与自己体型相近,替换后与真人相差甚远,这也是目前普及不了的原因。替换二:这是一种模型仿真方法,其做法是用计算机系统事先搜集大量的人体资料,建立人体数据库。(这些录入的人体模特已经建立了三维人体模型)。将用户资料去数据库中比对相近的体形再置换本人的头部而得到的三维模型。其做法是利用事先录好1万多中国女性人体建立人体模型。然后将这些模型建立后台人体数据库。使用者准备好自己的正面相片,填写25项左右的个人身材资料(比如身高、体重、三围等等与个人相片一并上传,通过这些个人的身材数据信息在人体数据库中找到最接近你的目标模特进行替换而生成的个人人体三维模型。这种方法虽然逼真度可以大幅提高,但是用户要填写输入大量的个人身材资料,有些数据用户还要通过其它方法取得,用户会觉得太繁琐,麻烦。同时提供商也要花费大量的人力、时间去建立庞大的人体数据库。替换三、替换二的变形,也是一种模型仿真方法,事先3d录入大量人体模特建立人体数据库,将数据库中的人体关节,肢体数据化后尽量拼接到与取得的被测量人外型接近而生成的被测量者人体模型。这是上述替换二的变形。申请号cn201710132436x就是使用的这个方法来实现人体三维建模的。操作流程是用手机在一定距离拍二张清晰的正面照和侧面轮廓照,简单填写几项本人身体资料,然后一并上传。后台系统利用得到的身体数据资料和轮廓照片和正面照片,与数据库中的资料匹配拼接而生成被测量者的人体三维模型。此方法虽然用户要填写的项目减少了一些,但是其它方面产生的缺陷更大。为了取得清晰可用的轮廓照片,首先要求拍照者拍照时要有一定的距离。这使自拍变得很困难。其次要求拍照者必须穿深色紧身衣物。使用者应该是会非常抗拒这种方式的。未来的推广使用前景堪忧。



技术实现要素:

为了克服现有技术的不足,本发明提供了一种基于手机扫描的人体3d建模防范。

本发明的技术方案是这样实现的:一种基于手机扫描的人体3d建模方法,该方法应用在手机上,该方法包括以下步骤:

s1:生成tsdf3d网格模型:

s1-1:采用深度重建的算法估算手机摄像头每个时间点的位置和朝向;

s1-2:基于立体匹配算法,通过采用手机摄像头拍摄同一场景下不同角度的一组图像来获得该场景深度图像;

s1-3:通过s1-1和s1-2获取的计算摄像头的位置和朝向以及深度图像通过坐标转换得到相关的点云数据,所述点云数据是指扫描资料以点的形式记录,每一个点包含有三维坐标,用来代表一个物体外表面形状;

s1-4:采用tsdf算法对得到的点云数据进行融合处理,得到tsdf3d网格模型;

s2:密集图像校准:采用深度浮点重建算法在扫描场景中追踪手机摄像头使得手机摄像头的位置和上一次摄像头位置对准对齐,获得手机摄像头位置的追踪结果,得到手机的运动轨迹;

s3:关键帧选择:通过s2得到手机的运动轨迹后,从手机运动轨迹中选择一个关键帧和当前图像进行比对,采用立体匹配算法生成当前视角的深度图像;

s4:密集图像匹配,生成深度图像:计算手机运动轨迹中任意两帧图像上毎个点的对应关系以及所述两帧图像拍摄位置之间的关系,通过对极几何生成整体深度图像;

s5:体积网格模型更新:将s2和s3得到当前视角的深度图像和整体深度图像导入到体积网格模型中对tsdf3d网格模型进行更新得到不同视角的深度图像融合;

s6:生成2d图像:把更新后的的tsdf3d网格模型映射到手机的2d的当前摄像头位置上,在手机屏幕上生成2d图像。

所述关键帧选择步骤中选择的关键帧和当前图像满足以下要求:

关键帧和当前人体图像的重叠部分越多越好;当前人体图像中远方的背景不计算;根据人体对称原理对当前人体图像采用镜像对称处理,计算一半图像,另一半进行复制。

本发明的有益效果:本发明利用手机自带的摄像头对人体进行三维建模,无需任何附带设备同时利用手机自身的计算能力可以完成人体的三维建模计算工作;利用人体对称原理,只要扫描了半边身体,系统就会自动将整个人体的三维生成;大大节省使用者的扫描时间,当使用者一只手在拿着手机,不方便扫描也不会受影响;不用消费者填写任何资料,操作简单,成本低。

附图说明

图1是一种基于手机扫描的人体3d建模方法的方法原理图。

图2是一种基于手机扫描的人体3d建模方法的步骤流程图。

具体实施方式

下面对本发明的具体实施方式作进一步说明:

如图1-2所示,一种基于手机扫描的人体3d建模方法,该方法应用在手机上,该方法包括以下步骤:

一种基于手机扫描的人体3d建模方法,该方法应用在手机上,该方法包括以下步骤:

s1:生成tsdf3d网格模型:

s1-1:采用深度重建的算法估算手机摄像头每个时间点的位置和朝向;

s1-2:基于立体匹配算法,通过采用手机摄像头拍摄同一场景下不同角度的一组图像来获得该场景深度图像;

s1-3:通过s1-1和s1-2获取的计算摄像头的位置和朝向以及深度图像通过坐标转换得到相关的点云数据,所述点云数据是指扫描资料以点的形式记录,每一个点包含有三维坐标,用来代表一个物体外表面形状;

s1-4:采用tsdf算法对得到的点云数据进行融合处理,得到tsdf3d网格模型;

在s1步骤中深度重建为aligndepthtoreconstruction,是现有的一种算法。

深度图像也叫距离图像,是指将从图像釆集器到场景中各点的距离(深度)值作为像素值的图像。它直接反映了景物可见表面的几何形状。

tsdf为truncatedsigneddistancefunction的简称,中文意思是截断有符号距离函数或截短的符号距离函数。

tsdf模型将整个待重建的三维空间划分成网格,每个网格中存储了数值,网格模型中值的大小代表网格离重建好的表面的距离。重建好的表面到相机一侧都是正值,另一侧都是负值。网格点离重建好的表面距离越远绝对值越大。在网格模型中从正到负的穿越点表示重建好的场景的表面。采用这个方法用来更新每个小网格中的一个数值。该数值代表了该网格到模型表面的最近距离,也称为tsdf值。对于每个网格,在每一帧都会更新并汇录tsdf的值,然后再通过tsdf值还原出重建模型。这种方法通常被称为基于体数据的方法(volumetricbasedmethod)。该方法的核心思想是通过不断更新并融合(fusion)tsdf这种类型的测量值,我们能够越来越接近所需要的真实值。

s2:密集图像校准:采用深度浮点重建算法在扫描场景中追踪手机摄像头使得手机摄像头的位置和上一次摄像头位置对准对齐,获得手机摄像头位置的追踪结果,得到手机的运动轨迹;

s3:关键帧选择:通过s2得到手机的运动轨迹后,从手机运动轨迹中选择一个关键帧和当前图像进行比对,采用立体匹配算法生成当前视角的深度图像;

s4:密集图像匹配,生成深度图像:计算手机运动轨迹中任意两帧图像上毎个点的对应关系以及所述两帧图像拍摄位置之间的关系,通过对极几何生成整体深度图像;

s5:体积网格模型更新:将s2和s3得到当前视角的深度图像和整体深度图像导入到体积网格模型中对tsdf3d网格模型进行更新得到不同视角的深度图像融合;

s6:生成2d图像:把更新后的的tsdf3d网格模型映射到手机的2d的当前摄像头位置上,在手机屏幕上生成2d图像。

具体地,在所述s3关键帧选择步骤中选择的关键帧和当前图像满足以下要求:

关键帧和当前人体图像的重叠部分越多越好;当前人体图像中远方的背景不计算,这里的远方是指人体图像中离人体2米以外的场景;根据人体对称原理对当前人体图像采用镜像对称处理,计算一半图像,另一半进行复制。这样可以大大地节省运算量,提高速率。

s3步骤中的立体匹配算法主要是通过建立一个能量代价函数,通过此能量代价函数最小化来估计像素点视差值。立体匹配算法的实质就是一个最优化求解问题,通过建立合理的能量函数,增加一些约束。采用最优化理论的方法进行方程求解,这也是所有的病态问题求解方法。

另外,s4:密集图像匹配,生成深度图像中的对极几何(epipolargeometry)是指两个相机在不同的位置拍摄同一物体,如果两张照片中的景物有重叠的部分,我们有理由相信,这两张照片之间存在一定的对应关系。如何描述它们之间的对应关系,描述工具是对极几何。它是研究立体视觉的重要数学方法。

要寻找两幅图像之间的对应关系,最直接的方法就是逐点匹配,如果加以一定的约束条件对极约束(epipolarconstraint),搜索的范围可以大大减小。

本发明主要一种多图成像技术利用普通手机进行3d扫描,其中多图成像技术,类似于人眼的成像机制。

本发明要做的就将构建好的3d物体显示在2d屏幕坐标上。对于这一过程而言,坐标系转换顺序为:物体坐标系一世界坐标系一相机坐标系一投影坐标系一图像(像素)坐标系。

我们将手机扫描后获取的3d信息由相机坐标系降维到(2维)投影坐标系再转换为图像坐标系(2d)这样就完成了构建好的3d物体显示在2d屏幕坐标上的工作啦。实际上就是通过坐标转换,在2d的屏幕上就可以看到3d的物体。

根据上述说明书的揭示和教导,本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此,本发明并不局限于上面揭示和描述的具体实施方式,对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对本发明构成任何限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1