【摘要】 本发明公开了一种基于视觉感知的立体图像客观质量评价方法，其从左右视点图像质量和深度感知两部分出发，左右视点图像质量对多尺度上的结构信息进行捕捉，有效地反映原始和失真立体图像对的结构相似度的差异，而立体深度感主要是由于人的左右眼看到的图像存在细微的差异造成的，故通过比较原始和失真绝对差值图的亮度失真、结构失真及灵敏度失真获得深度感知评价值，然后对这两部分的评价值进行非线性拟合得到最终的立体图像质量评价指标，由于本方法融入了立体图像特有的深度感特性和图像质量损失特性的客观评价模型结果既能反映立体图像的质量又能反映深度感，因此评价结果可以客观地反映立体图像处理或压缩算法对立体图像质量变化的影响。 ： 【专利类型】发明授权 【申请人】宁波大学 【申请人类型】学校 【申请人地址】315211 浙江省宁波市江北区风华路818号 【申请人地区】中国 【申请人城市】宁波市 【申请人区县】江北区 【申请号】CN201210081617.1 【申请日】2012-03-23 【申请年份】2012 【公开公告号】CN102663747B 【公开公告日】2014-08-27 【公开公告年份】2014 【授权公告号】CN102663747B 【授权公告日】2014-08-27 【授权公告年份】2014.0 【IPC分类号】G06T7/00; G06T7/11; G06T7/136; G06T7/174 【发明人】郁梅; 毛香英; 蒋刚毅; 周俊明; 李福翠; 邵枫; 彭宗举 【主权项内容】一种基于视觉感知的立体图像客观质量评价方法，其特征在于包括以下步骤：①令Sorg为原始的无失真的立体图像，令Sdis为待评价的失真的立体图像，将原始的无失真的立体图像Sorg的左视点图像记为Lorg，将原始的无失真的立体图像Sorg的右视点图像记为Rorg，将待评价的失真的立体图像Sdis的左视点图像记为Ldis，将待评价的失真的立体图像Sdis的右视点图像记为Rdis；②对Lorg、Rorg、Ldis和Rdis4幅图像分别实施M级正交小波9/7滤波和下采样的尺度分解，分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的M个子带的系数矩阵，将Lorg实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Rorg实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Ldis实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为将Rdis实施第m级正交小波9/7滤波和下采样的尺度分解后得到的对应的第m个子带的系数矩阵记为其中，1≤m≤M；③对Lorg的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分，得到Lorg的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵，对Rorg的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分，得到Rorg的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵，对Ldis的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分，得到Ldis的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵，对Rdis的M个子带的系数矩阵一一对应的M幅图像分别实施区域划分，得到Rdis的M个子带的系数矩阵一一对应的M幅图像各自对应的三个区域系数矩阵，其中，三个区域分别为边缘区域、平坦区域和纹理区域；将Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i, j)的两个像素点，判断该两个像素点是否均属于边缘区域，如果是，则将中坐标位置为(i, j)处的系数赋值为1，否则，将中坐标位置为(i, j)处的系数赋值为0，将Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i, j)的两个像素点，判断该两个像素点是否均属于平坦区域，如果是，则将中坐标位置为(i, j)处的系数赋值为1，否则，将中坐标位置为(i, j)处的系数赋值为0，将Lorg的第m个子带的系数矩阵对应的图像Ldis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵均记为对于Lorg的第m个子带的系数矩阵对应的图像和Ldis的第m个子带的系数矩阵对应的图像中坐标位置均为(i, j)的两个像素点，判断该两个像素点是否均属于纹理区域，如果是，则将中坐标位置为(i, j)处的系数赋值为1，否则，将中坐标位置为(i, j)处的系数赋值为0，将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i, j)的两个像素点，判断该两个像素点是否均属于边缘区域，如果是，则将中坐标位置为(i, j)处的系数赋值为1，否则，将中坐标位置为(i, j)处的系数赋值为0，将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i, j)的两个像素点，判断该两个像素点是否均属于平坦区域，如果是，则将中坐标位置为(i, j)处的系数赋值为1，否则，将中坐标位置为(i, j)处的系数赋值为0，将Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵均记为对于Rorg的第m个子带的系数矩阵对应的图像和Rdis的第m个子带的系数矩阵对应的图像中坐标位置均为(i, j)的两个像素点，判断该两个像素点是否均属于纹理区域，如果是，则将中坐标位置为(i, j)处的系数赋值为1，否则，将中坐标位置为(i, j)处的系数赋值为0，其中，表示中坐标位置为(i, j)处的系数，表示中坐标位置为(i, j)处的系数，表示中坐标位置为(i, j)处的系数，表示中坐标位置为(i, j)处的系数，表示中坐标位置为(i, j)处的系数，表示中坐标位置为(i, j)处的系数，此处0≤i< (Wm-7)，0≤j< (Hm-7)，Wm表示对应的图像的宽度，Hm表示对应的图像的高度；④将Lorg的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块，将Ldis的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块，然后分别计算Lorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图，并分别计算Ldis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图，再分别计算Lorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中与Ldis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有坐标位置相同的两个重叠块的协方差映射图，将Lorg的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为和σ morg, L, Um, org, L(i, j)=164Σ x=07Σ y=07Cmorg, L(i+x, j+y), ]]>σ m, org, L(i, j)=164Σ x=07Σ y=07(Cmorg, L(i+x, j+y)-Umorg, L(i, j))2, ]]>将Ldis的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为和σ mdis, L, Um, dis, L(i, j)=164Σ x=07Σ y=07Cmdis, L(i+x, j+y), ]]>σ m, dis, L(i, j)=164Σ x=07Σ y=07(Cmdis, L(i+x, j+y)-Umdis, L(i, j))2, ]]>将Lorg的第m个子带的系数矩阵对应的图像中与Ldis的第m个子带的系数矩阵对应的图像中所有坐标位置相同的两个重叠块的协方差映射图的系数矩阵记为BmL(i, j)=164Σ x=07Σ y=07((Cmorg, L(i+x, j+y)-Umorg, L(i, j))× (Cmdis, L(i+x, j+y)-Umdis, L(i, j))), ]]>其中，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块所有像素点的均值，表示中坐标位置为(i+x, j+y)处的系数，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块所有像素点的标准差，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块所有像素点的均值，表示中坐标位置为(i+x, j+y)处的系数，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块所有像素点的标准差，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块中所有像素点和对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块中所有像素点的协方差值，此处0≤i< (Wm-7)，0≤j< (Hm-7)；将Rorg的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块，将Rdis的M个子带的系数矩阵一一对应的M幅图像分别分割成(Wm-7)×(Hm-7)个尺寸大小为8×8的重叠块，然后分别计算Rorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图，并分别计算Rdis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有尺寸大小为8×8的重叠块的均值映射图和标准差映射图，再分别计算Rorg的M个子带的系数矩阵一一对应的M幅图像的每幅图像中与Rdis的M个子带的系数矩阵一一对应的M幅图像的每幅图像中所有坐标位置相同的两个重叠块的协方差映射图，将Rorg的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为和σ morg, R, Um, org, R(i, j)=164Σ x=07Σ y=07Cmorg, R(i+x, j+y), ]]>σ m, org, R(i, j)=164Σ x=07Σ y=07(Cmorg, R(i+x, j+y)-Umorg, R(i, j))2, ]]>将Rdis的第m个子带的系数矩阵对应的图像中所有尺寸大小为8×8的重叠块的均值映射图的系数矩阵和标准差映射图的系数矩阵分别记为和Um, dis, R(i, j)=164Σ x=07Σ y=07Cmdis, R(i+x, j+y)]]>σ m, dis, R(i, j)=164Σ x=07Σ y=07(Cmdis, R(i+x, j+y)-Umdis, R(i, j))2, ]]>将Rorg的第m个子带的系数矩阵对应的图像中与Rdis的第m个子带的系数矩阵对应的图像中所有坐标位置相同的两个重叠块的协方差映射图的系数矩阵记为BmR(i, j)=164Σ x=07Σ y=07((Cmorg, R(i+x, j+y)-Umorg, R(i, j))× (Cmdis, Ri+x, j+y)-Umdis, R(i, j))), ]]>其中，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块所有像素点的均值，表示中坐标位置为(i+x, j+y)处的系数，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块所有像素点的标准差，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块所有像素点的均值，表示中坐标位置为(i+x, j+y)处的系数，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块所有像素点的标准差，表示对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块中所有像素点和对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块中所有像素点的协方差值，此处0≤i< (Wm-7)，0≤j< (Hm-7)；⑤计算Lorg和Ldis的结构相似度值，记为QL，其中，LM, L＝b1×LM, e, L+b2×LM, f, L+b3×LM, t, L，Qm, L＝b1×Qm, e, L+b2×Qm, f, L+b3×Qm, t, L，LM, e, L=1Ne, LΣ i=0WM-8Σ j=0HM-82× UMorg, L(i, j)× UMdis, L(i, j)× AM, eL(i, j)+C1(UMorg, L(i, j)× AM, eL(i, j))2+(UMdis, L(i, j)× AM, eL(i, j))2+C1, Ne, L=Σ i=0WM-8Σ j=0HM-8AM, eL(i, j), ]]>LM, f, L=1Nf, LΣ i=0WM-8Σ j=0HM-82× UMorg, L(i, j)× UMdis, L(i, j)× AM, fL(i, j)+C1(UMorg, L(i, j)× AM, fL(i, j))2+(UMdis, L(i, j)× AM, fL(i, j))2+C1, Nf, L=Σ i=0WM-8Σ j=0HM-8AM, fL(i, j), ]]>LM, t, L=1Nt, LΣ i=0WM-8Σ j=0HM-82× UMorg, L(i, j)× UMdis, L(i, j)× AM, tL(i, j)+C1(UMorg, L(i, j)× AM, tL(i, j))2+(UMdis, L(i, j)× AM, tL(i, j))2+C1, Nt, L=Σ i=0WM-8Σ j=0HM-8AM, tL(i, j), ]]>Qm, e, L＝Hm, e, L×Gm, e, L，Qm, f, L＝Hm, f, L×Gm, f, L，Qm, t, L＝Hm, t, L×Gm, t, L，Hm, e, L=1Ne, LΣ i=0Wm-8Σ j=0Hm-8BmL(i, j)× Am, eL(i, j)+C3σ morg, L(i, j)× σ mdis, L(i, j)× Am, eL(i, j)+C3, Hm, f, L=1Nf, LΣ i=0Wm-8Σ j=0Hm-8BmL(i, j)× Am, fL(i, j)+C3σ morg, L(i, j)× σ mdis, L(i, j)× Am, fL(i, j)+C3, ]]>Hm, t, L=1Nt, LΣ i=0Wm-8Σ j=0Hm-8BmL(i, j)× Am, tL(i, j)+C3σ morg, L(i, j)× σ mdis, L(i, j)× Am, tL(i, j)+C3, ]]>Gm, e, L=1Ne, LΣ i=0Wm-8Σ j=0Hm-82× σ morg, L(i, j)× σ mdis, L(i, j)× Am, eL(i, j)+C2(σ morg, L(i, j)× Am, eL(i, j))2+(σ mdis, L(i, j)× Am, eL(i, j))2+C2, ]]>Gm, f, L=1Nf, LΣ i=0Wm-8Σ j=0Hm-82× σ morg, L(i, j)× σ mdis, L(i, j)× Am, fL(i, j)+C2(σ morg, L(i, j)× Am, fL(i, j))2+(σ mdis, L(i, j)× Am, fL(i, j))2+C2, ]]>Gm, t, L=1Nt, LΣ i=0Wm-8Σ j=0Hm-82× σ morg, L(i, j)× σ mdis, L(i, j)× Am, tL(i, j)+C2(σ morg, L(i, j)× Am, tL(i, j))2+(σ mdis, L(i, j)× Am, tL(i, j))2+C2, ]]>此处αm表示Qm, L对应的权值，此处b1、b2和b3分别表示对应的图像和对应的图像的边缘区域、平坦区域和纹理区域的权重值，C1、C2和C3均为常数，且C1≠0，C2≠0，C3≠0，表示Lorg的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块中所有像素点的均值，表示Ldis的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块中所有像素点的均值，表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i, j)处的系数，表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的平坦区域系数矩阵中坐标位置为(i, j)处的系数，表示Lorg的第M个子带的系数矩阵对应的图像和Ldis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的纹理区域系数矩阵中坐标位置为(i, j)处的系数，WM表示或或或对应的图像的宽度，HM表示或或或对应的图像的高度；计算Rorg和Rdis的结构相似度值，记为QR，其中，LM, R=b1× LM, e, R+b2× LM, f, R+b3× LM, t, R, Qm, R=b1× Qm, e, R+b2× Qm, f, R+b3× Qm, t, R, ]]>LM, e, R=1Ne, RΣ i=0WM-8Σ j=0HM-82× UMorg, R(i, j)× UMdis, R(i, j)× AM, eR(i, j)+C1(UMorg, R(i, j)× AM, eR(i, j))2+(UMdis, R(i, j)× AM, eR(i, j))2+C1, Ne, R=Σ i=0WM-8Σ j=0HM-8AM, eR(i, j), ]]>LM, f, R=1Nf, RΣ i=0WM-8Σ j=0HM-82× UMorg, R(i, j)× UMdis, R(i, j)× AM, fR(i, j)+C1(UMorg, R(i, j)× AM, fR(i, j))2+(UMdis, R(i, j)× AM, fR(i, j))2+C1, Nf, R=Σ i=0WM-8Σ j=0HM-8AM, fR(i, j), ]]>LM, t, R=1Nt, RΣ i=0WM-8Σ j=0HM-82× UMorg, R(i, j)× UMdis, R(i, j)× AM, tR(i, j)+C1(UMorg, R(i, j)× AM, tR(i, j))2+(UMdis, R(i, j)× AM, tR(i, j))2+C1, Nt, R=Σ i=0WM-8Σ j=0HM-8AM, tR(i, j), ]]>Qm, e, R＝Hm, e, R×Gm, e, R，Qm, f, R＝Hm, f, R×Gm, f, R，Qm, t, R＝Hm, t, R×Gm, t, R，Hm, e, R=1Ne, RΣ i=0Wm-8Σ j=0Hm-8BmR(i, j)× Am, eR(i, j)+C3σ morg, R(i, j)× σ mdis, R(i, j)× Am, eR(i, j)+C3, Hm, f, R=1Nf, RΣ i=0Wm-8Σ j=0Hm-8BmR(i, j)× Am, fR(i, j)+C3σ morg, R(i, j)× σ mdis, R(i, j)× Am, fR(i, j)+C3, ]]>Hm, t, R=1Nt, RΣ i=0Wm-8Σ j=0Hm-8BmR(i, j)× Am, tR(i, j)+C3σ morg, R(i, j)× σ mdis, R(i, j)× Am, tR(i, j)+C3, ]]>Gm, e, R=1Ne, RΣ i=0Wm-8Σ j=0Hm-82× σ morg, R(i, j)× σ mdis, R(i, j)× Am, eR(i, j)+C2(σ morg, R(i, j)× Am, eR(i, j))2+(σ mdis, R(i, j)× Am, eR(i, j))2+C2, ]]>Gm, f, R=1Nf, RΣ i=0Wm-8Σ j=0Hm-82× σ morg, R(i, j)× σ mdis, R(i, j)× Am, fR(i, j)+C2(σ morg, R(i, j)× Am, fR(i, j))2+(σ mdis, R(i, j)× Am, fR(i, j))2+C2, ]]>Gm, t, R=1Nt, RΣ i=0Wm-8Σ j=0Hm-82× σ morg, R(i, j)× σ mdis, R(i, j)× Am, tR(i, j)+C2(σ morg, R(i, j)× Am, tR(i, j))2+(σ mdis, R(i, j)× Am, tR(i, j))2+C2, ]]>此处αm表示Qm, R对应的权值，此处b1、b2和b3分别表示对应的图像和对应的图像的边缘区域、平坦区域和纹理区域的权重值，表示Rorg的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块中所有像素点的均值，表示Rdis的第M个子带的系数矩阵对应的图像中左上角的像素点的坐标位置为(i, j)的重叠块中所有像素点的均值，表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i, j)处的系数，表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i, j)处的系数，表示Rorg的第M个子带的系数矩阵对应的图像和Rdis的第M个子带的系数矩阵对应的图像分别实施区域划分后得到的边缘区域系数矩阵中坐标位置为(i, j)处的系数；⑥根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量，记为QF，QF＝ωl×QL+ωr×QR，其中，ωl表示QL的权值，ωr表示QR的权值；⑦计算Lorg与Rorg的绝对差值图像，记为计算Ldis与Rdis的绝对差值图像，记为其中，“ 【当前权利人】宁波大学 【当前专利权人地址】浙江省宁波市江北区风华路818号 【统一社会信用代码】123300004195291066 【引证次数】4.0 【自引次数】3.0 【他引次数】1.0 【家族引证次数】4.0 【家族被引证次数】24

未经允许不得转载：http://www.zhongzhencnc.com/1791354122.html