【摘要】 一种基于立体匹配的彩色图像三维重建方法：(1)使用两台彩色摄像机从合适角度同时各拍摄一幅图像；(2)分别对两台摄像机的内、外参数矩阵进行标定；(3)根据标定数据进行对极线校正、图像变换；(4)运用自适应权重窗口算法为校正后的两幅图像中每个像素点计算匹配代价并获取初始视差图；(5)采用匹配代价可信度检测和左右一致性校验标记像素初始匹配结果的可靠度系数；(6)通过Mean-Shift算法对图像彩色分割；(7)以彩色分割和像素可靠度分类结果为基础的具有选择性的置信度传播算法进行全局优化，得到最终的视差图(8)根据标定数据和匹配关系计算图像上实际物点的三维坐标，从而重建出物体的三维点云。 【专利类型】发明申请 【申请人】东南大学 【申请人类型】学校 【申请人地址】210096 江苏省南京市四牌楼2号 【申请人地区】中国 【申请人城市】南京市 【申请人区县】玄武区 【申请号】CN201010503987.0 【申请日】2010-10-08 【申请年份】2010 【公开公告号】CN101976455A 【公开公告日】2011-02-16 【公开公告年份】2011 【授权公告号】CN101976455B 【授权公告日】2012-02-01 【授权公告年份】2012.0 【IPC分类号】G06T17/00; G06T7/00; G06T7/33 【发明人】达飞鹏; 曹云云 【主权项内容】1.一种基于立体匹配的彩色图像三维重建方法，其特征在于，该重建方法依次含有以下步骤： 步骤1：图像获取 使用两台彩色摄像机同时从相差不大的两个角度对同一个场景拍摄两幅图像，其中左边的摄像机拍摄的为原始左图像，右边的摄像机拍摄的为原始右图像； 步骤2：摄像机标定 分别对两台摄像机进行标定，建立摄像机图像像素位置与场景位置之间的关系，获得左边的摄像机的内参数矩阵AL、右边的摄像机的内参数矩阵AR和左边的摄像机的外参数矩阵[RL?tL]、右边的摄像机的外参数矩阵[RR?tR]； 步骤3：图像对极线校正 根据步骤2得到的摄像机内外参数运用极线校正方法对所拍摄的左右图像进行极线校正得到平行式双目视觉模型，使匹配像素对具有相同的纵坐标，校正后的左图像和右图像分别记为Il和Ir； 步骤4：初始匹配： 步骤4.1：确定候选视差范围D： D＝(dmin，dmax)， 其中dmin为最小视差，dmin＝0，dmax为最大视差，通过标记基准图像和配准图像之间的匹配像素点对求得： 随机选取基准图像中的十个像素点{pl1，pl2，pl3，…，pl10}，在配准图像中分别寻找与{pl1，pl2，pl3，…，pl10}具有相同纵坐标和相近颜色信息的十个估算匹配像素点{pr1，pr2，pr3，…，pr10}，于是得到十组估算匹配像素对{(pl1，pr1)，(pl2，pr2)，(pl3，pr3)，…，(pl10，pr10)}，对每一组匹配像素对计算两像素的横坐标之差的绝对值得到一组视差值{d1，d2，d3，…，d10}，最大视差dmax＝max{d1，d2，...，d10}+5； 步骤4.2：自适应权重窗口算法 以校正后的左图像Il为基准图像，以校正后的右图像Ir为配准图像，采用自适应权重窗口方法对基准图像中的每一个像素点计算匹配代价并得到初始左视差图，然后，以校正后的右图像Ir为基准图像，以校正后的左图像Il为配准图像，采用自适应权重窗口方法对基准图像中的每一个像素点计算匹配代价并得到初始右视差图，所述的自适应权重窗口方法为： 步骤4.2.1：权重系数计算 首先将基准图像记为I1，配准图像记为I2，然后利用颜色和空间信息对两幅图像中每个像素点计算邻域窗口内所有像素的权重系数Epq： 其中p是基准图像或配准图像中的像素点，q为以像素p中心、大小为n×n的邻域窗口内的任一像素点，n＝35，Δpq表示在RGB空间下像素p和q之间的颜色差异，||p-q||2是两像素之前的欧氏距离，α和β为常系数，α＝0.1，β＝0.047； 步骤4.2.2：匹配代价计算 在水平极线约束下，对基准图像中的每个像素计算候选视差范围内所有视差值对应的 匹配代价C(p1，d)： 其中p1为基准图像中任一像素点，p1的坐标为 d为候选视差范围D内的任一视差值，像素p2为p1在配准图像中对应于视差d的候选匹配像素点，当基准图像为左图像时，p2的坐标是 当基准图像为右图像时，p2的坐标是 分别表示以像素点p1，p2为中心、大小为n×n的邻域窗口，像素q1为窗口 内的任一邻域像素点，坐标为 像素q2为窗口 内的与q1对应的像素点，，当基准图像为左图像时，q2的坐标是 基准图像为右图像时，q2的坐标是 和 为根据步骤4.2.1求得的权重系数，S(q1，q2)为对应像素对(q1，q2)的差异度； 步骤4.2.3：计算初始视差值对每个像素计算匹配代价最小的视差值d0(p1)： 其中p1为基准图像中的任一像素点，D为候选视差范围，dmin和dmax为最小视差和最大视差，C(p1，d)是根据步骤4.2.1计算得到的匹配代价；匹配代价最小的视差值d0(p1)为像素p1的初始匹配视差结果； 步骤4.2.4：建立初始视差图像 建立初始视差图像D0：D0(i，j)＝d0(pij)，其中i和j分别为视差图像像素点的横坐标和纵坐标，pij是基准图像中坐标为(i，j)的像素点，d0(pij)为步骤4.2.3中计算得到的pij的初始匹配视差结果； 如果基准图像为左图像Il，将初始视差图D0赋值给初始左视差图Dl0，如果基准图像为右图像Ir，将初始视差图D0赋值给初始右视差图Dr0； 步骤5：像素可靠度标记： 步骤5.1：匹配代价可信度检验 将左图像Il所有像素按照匹配代价可信度分类，可信度较高的集合记为Mhc，可信度较低的集合为记为Mlc：左图像Il中的任一像素pl匹配代价可信度为r(pl)： Cmin1为pl初始匹配视差结果对应的匹配代价，即最小匹配代价值，而Cmin2为pl的第二小的匹配代价，然后设定阈值dist，当r(pl1)＞dist时，pl的匹配结果可信度为较高，pl∈Mhc，否则可信度为较低，pl∈Mlc，其中阈值dist取0.04； 步骤5.2：左右一致性校验 对于左图像中的任一像素pl，坐标为 pl的初始视差结果 在右图像中对应的匹配像素pr的坐标为 根据步骤4得到的初始右视差图像Dr0得到像素pr的初始视差结果 如果d1＝d2，则像素pl通过左右一致性校验，记为pl∈Mac，否则，像素pl未通过左右一致性校验，记为pl∈Mbc，其中Mac和Mbc分别为通过左右一致性校验的集合和未通过左右一致性校验的集合； 步骤5.3：像素可靠度系数标记 根据步骤5.1和5.2的结果对左图像中每个像素标记可靠度系数Con(pl)： 其中pl为左图像中的任一像素，Con(pl)为pl的可靠度系数； 步骤6：图像分割： 用Mean-Shift算法对左图像进行分割，对每个像素标记所属的分割区域S(pl)，其中pl为左图像中任一像素，S(pl)为像素pl所属的区域标号； 步骤7：全局优化 步骤7.1：像素平滑代价计算 计算左图像中每个像素与该像素的上下左右四个邻域像素之间的相对于视察范围D内所有视差值的平滑代价J(pl，ql，dp，dq)： J(pl，ql，dp，dq)＝min{|dp-dq|，|dmax-dmin|/8}， 其中pl为左图像中的任一像素，ql为像素pl的任一四邻域像素，dp和dq分别为像素pl和ql的在视差范围D内的任一视差，dmax和dmin为最大视差和最小视差； 步骤7.2：计算像素节点的置信度消息 迭代计算置信度消息，t为迭代的次数，初始值为0，当t＝50时停止迭代，每一次迭代的计算过程为： t次迭代时，对左图像中每个像素节点计算下一次迭代时该像素向四邻域像素传播的，相对于视差范围D内每一个视差值的置信度消息 其中pl为左图像中任一像素，ql为像素pl的任意一个四邻域像素，D为步骤4.1中定义的视差范围，d为D内的任一视差值，C(pl，d)为步骤4.2.2中计算得到的匹配代价，dx为视差范围D内的任一视差值，J(pl，ql，d，dx)为步骤7.1求得的平滑代价， 为t-1次迭代求得的从像素qs向pl传播的视差为dx的置信度消息，t＝1时 为0，dx为视差范围D内的任一视差值，qx为像素pl的选择性邻域N1(pl)内、不同于像素ql的任一像素，所述的选择性邻域N1(pl)为： N1(pl)＝{qf|qf∈N(pl)，Con(qf)≥Con(pl)and?S(qf)＝S(pl)}， 式中N1(pl)为像素pl的上下左右四邻域，Con(qf)和Con(pl)为步骤5.3中标记的可靠度系数，S(qf)和S(pl)为步骤6中求得的像素qf和pl所属的分割区域标号； 步骤7.3：计算左图像中每个像素点相对于所有可能视差的置信度b(pl，d)： 其中pl为左图像中的任一像素，d为D内的任一视差值，C(pl，d)为步骤4.2.2得到的匹配代价， 为第50次迭代计算得到的从像素ps向pl传播的视差为d的置信度消息，ps为N1(pl)内的任一像素，N1(pl)为步骤7.2中定义的pl的选择性邻域； 步骤7.4：计算视差图像 根据每个像素的置信度计算最优视差值d(pl)： 其中pl为左图像中的任一像素，b(pl，d)为步骤7.3计算得到的置信度，D为视差范围，d为视察范围D内的任一视差值； 根据左图像中每个像素的最优视差建立最终视差图像Dout：Dout(x，y)＝d(pxy)，其中x和y分别为视差图像Dout像素点的横坐标和纵坐标，pxy是基准图像中坐标为(x，y)的像素点，d(pxy)为pxy的最优视差值； 步骤8：重建目标物的三维信息 根据步骤2得到的摄像机内外参数矩阵AL、AR和[RL?tL]、[RR?tR]，以及步骤7得到的视差图Dout，通过空间交汇法计算得到整个目标物的三维点云模型。 【当前权利人】江苏洁万家纺织有限公司; 东南大学 【当前专利权人地址】; 江苏省南京市玄武区四牌楼2号 【统一社会信用代码】12100000466006770Q 【引证次数】5.0 【被引证次数】84 【自引次数】1.0 【他引次数】4.0 【被自引次数】1.0 【被他引次数】83.0 【家族引证次数】5.0 【家族被引证次数】85

未经允许不得转载：http://www.zhongzhencnc.com/1785486517.html