图像处理方法和装置的制造方法_3

文档序号:9430273阅读:来源:国知局
iency map,按照saliency map中value的强度,统计 为直方图,并利用主成分分析方法,获得直方图特征中最具有判别力的部分,作为特征,辅 以机器学习的方法,判断图像中是否存在显著对象(salient object,即上述的显著目标)。 这种方法存在以下缺陷:
[0103] 1.只利用了一种简单的直方图信息,未能充分考虑不同模态信息(颜色、纹理)之 间信息的互补融合,如果输入的saliency map中包含错误,后续计算的结果中不可避免的 产生错误。
[0104] 2.没有考虑到saliency map中value的空间分布信息,空间分布信息往往是最有 用的一种特征。
[0105] 3.没有设计专属特征,仅依赖于其他saliency detection方法中的output。
[0106] 根据本发明的技术方案,为了准确判断图像中是否存在显著目标,根据本发明实 施例的上述方法可以进一步包括:确定图像中各种颜色的分布情况;根据图像中每个像素 的颜色、每种颜色的分布情况以及像素的显著性,确定图像中是否包含显著目标,在确定了 图像中存在显著目标的情况下,就可以进一步确定显著目标的位置,还可以进一步提取显 著目标。
[0107] 例如,本发明的技术方案能够基于上述第一显著性和第二显著性进一步确定显著 目标是否存在。具体而言,首先,确定图像中各种颜色的分布情况,并对图像进行划分,得到 多个图像块;之后,对于每个图像块,根据该图像块中的颜色分布、该图像块中像素的第一 显著性、以及第二显著性,确定图像中是否包含显著目标;最后,可以确定图像中显著目标 的位置。
[0108] 这样,如果目标图像中包含显著目标,例如,参照图2a所示的图像,则可以将其中 的显著目标提取。如图目标图像中不包含显著目标,例如,参照图2b所示的图像,此时则不 会提取图像中的内容。
[0109] 如图3所示,根据本发明实施例的图像处理方法可以首先对原图像进行显著区域 划分,得到显著区域图;之后,进行显著目标检测,在判断存在显著目标的情况下,提取显著 目标,得到显著目标图;如果判断图像中不能存在显著目标,则处理结束。
[0110] 在实际应用中,根据本发明一个实施例的图像处理方法包括以下步骤:
[0111] 步骤1. 1,对一帧图像的显著区域和背景区域用不同的方式显示,以增强显著区域 和背景区域的差异度
[0112] 步骤1.2,对显著区域进行进一步判断,判断其是否为具有实际意义的显著目标, 并进行分割。
[0113] 其中,可以使用算法分割出显著区域和背景区域,该算法包括以下步骤:
[0114] 步骤2. 1,计算back diff,其中,back diff是指像素的颜色与图像背景区域中的 颜色的相似性。具体地,计算图像中像素颜色的显著性,将图像进行颜色量子化,对于量子 化的结果,选择默认的前景区域和背景区域,计算前景区域与背景区域颜色的相似度,得到 颜色显著图(即,参照颜色确定像素的第二显著性,多个像素的第二显著性构成颜色显著 图)。其中,如果像素与图像背景区域中所含有的颜色越不相似,其属于saliency的概率就 越1?。
[0115] 步骤2. 2,计算short path,其中,short path是指像素到图像的边界处颜色(强 度)的变化情况。具体地,计算图像中像素强度的显著性,选定图像的边界作为背景区域, 寻找图像中每个像素到边界处强度变化最小的路径上所包含的所有像素,计算上述像素上 的强度变化,得到强度显著图(即,参照强度确定像素的第一显著性,多个像素的第一显著 性构成强度显著图)。其中,如果像素到图像的边界区域颜色(强度)变化越大的像素,其 属于saliency的概率就越高。
[0116] 步骤2. 3,对于图像中的每一个像素,在步骤2. 1和2. 2得到的两张显著图中的相 应的位置上,找到对应的特征值,利用机器学习的方法对特征值进行分类,获得最终的分类 结果,显著区域或是背景区域。例如,可以针对步骤2. 1和步骤2. 2得到的结果分别计算其 属于显著区域/背景区域的概率,之后可以借助于分类器(例如,贝叶斯分类器(Bayesian classifier)对两种特征值进行融合并分类),确定该像素是否属于显著区域。
[0117] 在一个实施例中,假设一个像素属于背景区域的概率为P (back I X),属于显著区域 的概率为P (saliency I X),则可以在以下条件满足时,确定该像素属于显著区域:
_其中,Ths为预设的阈值(可以是ROC曲线中的阈值)。
[0119] 在检测出显著区域后,反馈给照相装置的自动控制系统,用于提高自动对焦精度, 改善自动白平衡,自动曝光等。
[0120] 此外,该方法还可以进一步判断图像中是否存在有实际意义的显著目标,可以执 行以下步骤:
[0121] 步骤3. 1,计算图像颜色分布显著性图,将图像进行颜色量子化(例如,可以进行 16色的颜色量子化),对于量子化结果,统计每一种颜色的空间分布情况,并利用机器学习 的方法预测每一种颜色的分布形式同显著颜色分布的相似性,以相似性的值作为像素的 值,获得图像颜色分布显著性图。其中,在计算图像颜色分布显著性图时,可以将图像进行 颜色量子化,对于量子化结果,统计每一种颜色的空间分布,利用k均值聚类算法,将分布 映射为视觉词包,借助AdaBoost分类器预测每一种颜色的分布形式同显著颜色分布的相 似性,以相似性的值作为像素的值,获得图像颜色分布显著性图。
[0122] 基于步骤2. 1、2.2、3. 1所得到的三个显著图,对于其中的每一个显著图进行如下 操作,将显著图分为N块(例如,可以分为8*8个块),以图像块中的均值作为特征值构成N 维特征。对于所有显著图提取3*N维特征,利用机器学习的方法,判断图像中是否存在具有 实际意义的显著目标。
[0123] 如果存在具有实际意义的显著目标,根据步骤2. 1、2.2与3. 1得到的结果,利用机 器学习的方法进行分类,获得最终的分类结果,显著目标或是背景。
[0124] 具体地,根据步骤2. 2和步骤2. 2的结果(颜色显著图和强度显著图),结合步骤 3. 1的结果(图像颜色分布显著性图),可以计算像素是否属于显著目标的概率
[0125] 可选地,在判断出图像是否有具有实际意义的显著目标后,可以将结果反馈给图 像处理程序或用户,对图像的构图进行进一步评价,指导用户进行智能构图或者评价用户 照片质量;或者分割主体目标进行图像增强,更换背景等操作。
[0126] 在本发明的上述处理中,在确定像素的第一显著性时(对应于步骤S2. 2),对于一 个像素,可以向该像素的八个方向寻找路径,选择与其颜色(或其他参数)变化最小的下一 个像素作为其路径,并且朝向图像的边界方向逐个进行这样的计算,直到抵达图像的边界, 并计算这个路径上所有的点的颜色变化的值作为这个像素的short path值,到达图像边界 颜色变化越大,其值越高。
[0127] 但是,如果在实际应用中按照该方式进行计算,将需要极大的计算量。本发明提 出,通过更少的计算来确定像素的最短路径。
[0128] 参照图4,示出了包含9个像素的图像。对于其中的像素0,可以参照图5a所示的 方向进行第一次扫描,并且参照图5b所示的方向进行第二次扫描。
[0129] 在进行第一次扫描时,可以利用左上四个点计算S。:
[0130] S0 一 min (S(。,",S(〇,2),S(〇,3),S(〇,4));
[0131] 在进行第二次扫描时,可以利用右下四个点计算S。:
[0132] S0 - min (S。,S(。, 5),S(Q,6),S(。, 7),S(Q,8));
[0133] 其中,像素 0 的 RGB 值为(r。,g。,b。),S。为 short path 值。
[0134] 并且:
[0135] S(O1) = Dist (0, ^+S1+!
[0136] S(O 2) = Dist (0, 2)+S2+1
[0137] S(O 3) = Dist (0, 3)+S3+1
[0138] S(〇i4) = Dist (0, 4)+S4+1
[0139] S(O 5) = Dist (0, 5)+Ss+l
[0140] S(O 6) = Dist (Ο, 6)+S6+1
[0141] S(O 7) = Dist (Ο, 7)+S7+1
[0142] S(O 8) = Dist (Ο, 8)+S8+1
[0143] 其中,像素 i同像素 j的颜色差异的确定方法如下:
[0144] Dist(i,j) = (r;-r j)2+(bj-bj)2+(gj-gj)2
[0145] S!、S2、S3、S4、S5、S6、S 7、S8 分别为像素 1、2、3、4、5、6、7、8 的 short path 值。
[0146] 应当注意的是,除了以上描述的第一次扫描和第二次扫描之外,更多次不同方向 的扫描能够进一步优化每个像素的short path,但是,两次扫描已经能够在一定程度上保 证路径的准确性。
[0147] 根据本发明的实施例,还提供了 一种图像处理装置。
[0148] 如图6所示,根据本发明的图像处理装置包括
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1