【摘要】 本发明公开了一种基于深度融合和曲面演变的多视点三维重建方法。方法步骤为：首先，对由深度摄像机和可见光摄像机组成的摄像机阵列进行标定并利用标定参数将深度摄像机获得的深度图投影到阵列中的一个视点，得到该视点的初始深度图，依据初始深度图得到初始深度曲面；其次，定义基于曲面演变的能量函数，能量函数的定义包括多摄像机的颜色一致性代价，初始深度曲面的不确定度和曲面平滑项；最后，通过凸化和最小化能量函数驱动深度曲面演变得到最终深度曲面，即三维场景信息。本发明同时融合了初始深度信息和多摄像机的颜色一致性代价，是一种能有效获得场景空间信息的三维重建方法，可满足三维电视、虚拟现实等多方面应用需求。 【专利类型】发明授权 【申请人】浙江大学 【申请人类型】学校 【申请人地址】310027 浙江省杭州市西湖区浙大路38号 【申请人地区】中国 【申请人城市】杭州市 【申请人区县】西湖区 【申请号】CN201210009175.X 【申请日】2012-01-12 【申请年份】2012 【公开公告号】CN102609977B 【公开公告日】2014-07-16 【公开公告年份】2014 【授权公告号】CN102609977B 【授权公告日】2014-07-16 【授权公告年份】2014.0 【IPC分类号】G06T17/00; G06T7/00 【发明人】于慧敏; 杨刚 【主权项内容】1.一种基于深度融合和曲面演变的多视点三维重建方法，其特征在于它的步骤如下： 1)在由一个深度摄像机和若干个可见光摄像机组成的摄像机阵列中，首先利用深度摄像机和可见光摄像机的标定参数，将深度摄像机得到的深度图像投影到摄像机阵列的某一个视点下，得到该视点下的初始深度图像，以该视点为参考系，根据该视点下的初始深度图像得到初始的深度曲面，对任意一空间点x，用二元特征函数u(x)标记点x是否在深度曲面上，令u(x)＝1表示x在曲面外，u(x)＝0表示x在曲面上； 2)利用标定参数获得各可见光摄像机间的颜色一致性代价，定义空间点x在摄像机i和j上成像的一致性代价cost(x)ij： 其中P表示点x在图像Ii中的邻域，Hij表示摄像机i像平面到摄像机j像平面的投影， 和 分别为各自区域内的均值，c1和c2为归一化系数； 在摄像机i视野下，空间点x处的成像颜色一致性代价函数定义为 计入统计的cost(x)ij需要满足两个条件：第一，定义αij为点x与摄像机i和j成像视线的夹角，αij需要小于设定的最大夹角αmax；第二，计算满足条件一的cost(x)ij中的最大值cost(x)i-max和最小值cost(x)i-min的差，若cost(x)i-max-cost(x)i-min大于设定的阈值η，则排除cost(x)i-max和cost(x)i-min，ωij为权重系数，根据标定得到的摄像机间距定义为 dij为摄像机i和j的间距； 3)比较初始深度曲面上的点xS的代价函数值Ci(xS)和其在摄像机i视线上其它各点的代价函数值 ，若 且xS在摄像机i上的成像点不为图像边缘，则令该 ， 在点x与摄像机i的成像视线上，计算该视线上各点的代价函数值Ci(x)，记视线上最大的代价函数值为Ci(x)max； 4)定义基于颜色一致性代价的能量函数 s.t.u∈{0, 1} 其中μ为常系数，ρ(x)表示各可见光摄像机视野下颜色一致性代价的均值，定义为 l为摄像机个数，核函数f(ρ(x))和g(ρ(x))分别表示点x在曲面上和曲面外的代价，核函数的值域在区间[0, 1]上，定义为 g(s)＝1-f(s) σ(x)为平滑项系数，以投票权重形式定义 γ为常系数，投票值VOTEi(x)定义为 uini(x)表示初始深度曲面， 为时间项系数，表示初始深度曲面的不确定度，定义为 η为常系数， 表示初始深度曲面的不确定度，πtof(x)表示空间点x投影到TOF摄像机下的成像坐标，记为(xt, yt, zt)，初始深度曲面的不确定度的定义为 α，β为标定得到的绕摄像机坐标系X轴和Y轴的旋转参数，Ωα和Ωβ为它们的不确定度，ΩT为平移向量T的不确定度，均由标定程序给出， 为点(xt, yt, zt)的深度值的不确定性，定义为 其中I为点(xt, yt, zt)在深度摄像机强度图像中的强度值，Imax和Imin分别为深度摄像机强度图像中强度值的最大值和最小值，κ为常系数； 5)对能量函数作凸化处理，将二元函数u(x)松弛到连续区间[0, 1]上，以能量函数最小化为原则，利用Split?Bregman迭代方法求解能量函数驱动深度曲面演变，得到全局最优解，通过定义阈值ε，得到曲面上的点和曲面外部的点，其中，曲面上的点集为 RS : {x : u(x)≤ε} 将最终曲面上的点投影到任一视点上，根据曲面各点的深度距离获得对应视点下的深度图信息，当有多个点投影到同一点时，只取离该视点最近的点，至此，得到最终的场景空间三维信息。 微信 【当前权利人】浙江大学 【当前专利权人地址】浙江省杭州市西湖区浙大路38号 【专利权人类型】公立 【统一社会信用代码】12100000470095016Q 【引证次数】3.0 【自引次数】2.0 【他引次数】1.0 【家族引证次数】3.0 【家族被引证次数】21

未经允许不得转载：http://www.zhongzhencnc.com/1791552741.html