【摘要】 本发明公开了一种基于中心凹恰可觉察失真模型的深度视频编码方法，其首先计算对左右视点彩色视频和左右视点深度视频进行中间虚拟视点绘制得到的中间虚拟视点视频中的每帧中的每个像素的全局恰可觉察失真，然后根据全局恰可觉察失真获取几何偏移的中间虚拟视点视频，接着根据几何偏移获取左视点深度视频的最大可容忍失真视频，再根据最大可容忍失真视频获取左视点深度视频的每帧中的每个宏块的可增加编码量化参数，该方法在能够维持虚拟视点视觉感知质量的前提下，有效节约了深度视频的编码码率，同时大大提高了深度视频序列的压缩编码效率，节省的码流可达到11.00~23.34%。 【专利类型】发明授权 【申请人】宁波大学 【申请人类型】学校 【申请人地址】315211 浙江省宁波市江北区风华路818号 【申请人地区】中国 【申请人城市】宁波市 【申请人区县】江北区 【申请号】CN201210180891.4 【申请日】2012-06-01 【申请年份】2012 【公开公告号】CN102724525B 【公开公告日】2014-11-05 【公开公告年份】2014 【授权公告号】CN102724525B 【授权公告日】2014-11-05 【授权公告年份】2014.0 【IPC分类号】H04N13/00; H04N15/00 【发明人】蒋刚毅; 朱亚培; 王晓东; 郁梅; 朱高锋; 邵枫; 彭宗举 【主权项内容】一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于包括以下步骤：①将待编码的深度视频的左视点视频记为DL(m, n, k)，将与待编码的深度视频的左视点视频DL(m, n, k)对应的彩色视频的左视点视频记为CL(m, n, k)，将待编码的深度视频的右视点视频记为DR(m, n, k)，将与待编码的深度视频的右视点视频DR(m, n, k)对应的彩色视频的右视点视频记为CR(m, n, k)，其中，m表示DL(m, n, k)中的深度视频帧、CL(m, n, k)中的彩色视频帧、DR(m, n, k)中的深度视频帧和CR(m, n, k)中的彩色视频帧的水平分辨率，n表示DL(m, n, k)中的深度视频帧、CL(m, n, k)中的彩色视频帧、DR(m, n, k)中的深度视频帧和CR(m, n, k)中的彩色视频帧的垂直分辨率，m×n表示DL(m, n, k)中的深度视频帧、CL(m, n, k)中的彩色视频帧、DR(m, n, k)中的深度视频帧和CR(m, n, k)中的彩色视频帧的分辨率，k表示DL(m, n, k)中包含的深度视频帧、CL(m, n, k)中包含的彩色视频帧、DR(m, n, k)中包含的深度视频帧和CR(m, n, k)中包含的彩色视频帧的帧数；②在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用DL(m, n, k)的初始编码量化参数对DL(m, n, k)进行编码，采用CL(m, n, k)的初始编码量化参数对CL(m, n, k)进行编码，采用DR(m, n, k)的初始编码量化参数对DR(m, n, k)进行编码，采用CR(m, n, k)的初始编码量化参数对CR(m, n, k)进行编码；然后对DL(m, n, k)、CL(m, n, k)、DR(m, n, k)和CR(m, n, k)经编码后的视频进行中间虚拟视点绘制，得到绘制后的中间虚拟视点视频，记为V(m, n, k)，其中，V(m, n, k)中的中间虚拟视点视频帧的分辨率为m×n，V(m, n, k)中包含的中间虚拟视点视频帧的帧数为k；③计算V(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，得到全局恰可觉察失真的中间虚拟视点视频，记为GJND(m, n, k)，其中，GJND(m, n, k)中的中间虚拟视点视频帧的分辨率为m×n，GJND(m, n, k)中包含的中间虚拟视点视频的帧数为k；所述的步骤③的具体过程为：③-1、计算V(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真，得到空域恰可觉察失真的中间虚拟视点视频，记为SJND(m, n, k)，其中，SJND(m, n, k)中的中间虚拟视点视频帧的分辨率为m×n，SJND(m, n, k)中包含的中间虚拟视点视频帧的帧数为k；③-2、计算V(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的时域恰可觉察失真，得到时域恰可觉察失真的中间虚拟视点视频，记为TJND(m, n, k)，其中，TJND(m, n, k)中的中间虚拟视点视频帧的分辨率为m×n，TJND(m, n, k)中包含的中间虚拟视点视频帧的帧数为k；③-3、将SJND(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真与TJND(m, n, k)中的对应的中间虚拟视点视频帧中的对应的像素的时域恰可觉察失真相乘，得到时空恰可觉察失真的中间虚拟视点视频，记为STJND(m, n, k)，其中，STJND(m, n, k)中的中间虚拟视点视频帧的分辨率为m×n，STJND(m, n, k)中包含的中间虚拟视点视频帧的帧数为k；③-4、计算V(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的中心凹恰可觉察失真的加权系数；③-5、将STJND(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的时空恰可觉察失真与V(m, n, k)中的对应的中间虚拟视点视频帧中的对应的像素的中心凹恰可觉察失真的加权系数相乘，得到全局恰可觉察失真的中间虚拟视点视频GJND(m, n, k)；④根据GJND(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，定量得到GJND(m, n, k)的几何偏移的中间虚拟视点视频，记为ΔP(m, n, k)，其中，ΔP(m, n, k)中的中间虚拟视点视频帧的分辨率为m×n，ΔP(m, n, k)中包含的中间虚拟视点视频帧的帧数为k；所述的步骤④的具体过程为：提取出GJND(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，并直接将等于提取出的全局恰可觉察失真的数值赋值给GJND(m, n, k)的几何偏移的中间虚拟视点视频ΔP(m, n, k)中的对应的中间虚拟视点视频帧中对应的像素，定量得到GJND(m, n, k)的几何偏移的中间虚拟视点视频序列ΔP(m, n, k)；⑤根据ΔP(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，定性得到DL(m, n, k)的最大可容忍失真视频，记为ΔDL(m, n, k)，其中，ΔDL(m, n, k)中的最大可容忍失真视频帧的分辨率为m×n，ΔDL(m, n, k)中包含的最大可容忍失真视频帧的帧数为k；所述的步骤⑤的具体过程为：采用深度视频失真和几何失真之间的线性关系Δ P=a× δ x× Δ Ddepth(x, y)255× (1Znear-1Zfar), ]]>定性得到DL(m, n, k)的最大可容忍失真视频ΔDL(m, n, k)，其中，ΔP表示ΔP(m, n, k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，a表示水平方向上以像素为单位的相机焦距，δx表示水平方向上两个相机之间的基线距离，x表示DL(m, n, k)中的每帧深度视频帧中的像素的横坐标，y表示DL(m, n, k)中的每帧深度视频帧中的像素的纵坐标，ΔDdepth(x, y)表示DL(m, n, k)中的每帧深度视频帧中坐标位置为(x, y)的像素的最大可容忍失真，1≤x≤m, 1≤y≤n，Znear表示DL(m, n, k)中的每帧深度视频帧中距离相机最近距离的像素的像素值，Zfar表示DL(m, n, k)中的每帧深度视频帧中距离相机最远距离的像素的像素值；⑥首先根据ΔDL(m, n, k)将DL(m, n, k)中的所有深度视频帧的宏块分成四类，并分别确定四类宏块的可增加编码量化参数的具体值，然后确定DR(m, n, k)中的所有深度视频帧中的所有宏块和CR(m, n, k)中的所有彩色视频帧中的所有宏块的可增加编码量化参数的具体值，再在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，对DL(m, n, k)和CL(m, n, k)以及DR(m, n, k)和CR(m, n, k)进行编码；所述的步骤⑥的具体过程为：⑥-1、根据ΔDL(m, n, k)将DL(m, n, k)中的所有深度视频帧的宏块分成四类，并确定第一类宏块的编码量化参数为第二类宏块的编码量化参数为第三类宏块的编码量化参数为第四类宏块的编码量化参数为其中，表示对DL(m, n, k)进行编码的初始编码量化参数，ΔQP1表示第一类宏块的可增加编码量化参数，ΔQP2表示第二类宏块的可增加编码量化参数，ΔQP3表示第三类宏块的可增加编码量化参数，ΔQP4表示第四类宏块的可增加编码量化参数，0≤ΔQP1< ΔQP2≤ΔQP3≤ΔQP4≤12；所述的步骤⑥-1中宏块分类的具体过程为：a1、将ΔDL(m, n, k)中的每帧最大可容忍失真视频帧分割成K×L个互不重叠的宏块，将DL(m, n, k)中的每帧深度视频帧分割成K×L个互不重叠的宏块，其中，K＝m/16，L＝n/16；b1、计算ΔDL(m, n, k)中的每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局平均值，记为A，再根据A计算ΔDL(m, n, k)中的每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局方差，记为V，其中，0≤i≤K-1，0≤j≤L-1，ΔDij表示ΔDL(m, n, k)中的每帧最大可容忍失真视频帧中坐标位置为(i, j)的宏块的最大可容忍失真的平均值，a表示ΔDL(m, n, k)中的每帧最大可容忍失真视频帧中的每个宏块中的像素的横坐标，表示ΔDL(m, n, k)中的每帧最大可容忍失真视频帧中的每个宏块中的像素的纵坐标，ΔDij, ab表示ΔDL(m, n, k)中的每帧最大可容忍失真视频帧中坐标位置为(i, j)的宏块中坐标位置为(a, b)的像素的最大可容忍失真；c1、将DL(m, n, k)中当前正在处理的深度视频帧定义为当前深度视频帧；d1、利用canny算子提取当前深度视频帧中的边缘宏块；e1、将当前深度视频帧中当前正在处理的坐标位置为(i, j)的宏块定义为当前宏块；f1、计算ΔDL(m, n, k)中与当前深度视频帧对应的最大可容忍失真视频帧中与当前宏块对应的宏块的最大可容忍失真的方差，记为Vij，g1、判断当前宏块是否为边缘宏块，如果是，则将当前宏块归入第一类宏块集合中，并确定当前宏块的编码量化参数为然后执行步骤l1，否则，执行步骤h1，其中，表示对DL(m, n, k)进行编码的初始编码量化参数，ΔQP1表示第一类宏块的可增加编码量化参数；h1、判断ΔDij≤A且Vij> V是否成立，如果成立，则将当前宏块归入第一类宏块集合中，并确定当前宏块的编码量化参数为然后执行步骤l1，否则，执行步骤i1；i1、判断ΔDij≤A且Vij≤V是否成立，如果成立，则将当前宏块归入第二类宏块集合中，并确定当前宏块的编码量化参数为然后执行步骤l1，否则，执行步骤j1，其中，ΔQP2表示第二类宏块的可增加编码量化参数；j1、判断ΔDij> A且Vij> V是否成立，如果成立，则将当前宏块归入第三类宏块集合中，并确定当前宏块的编码量化参数为然后执行步骤l1，否则，执行步骤k1，其中，ΔQP3表示第三类宏块的可增加编码量化参数；k1、判断ΔDij> A且Vij≤V是否成立，如果成立，则将当前宏块归入第四类宏块集合中，并确定当前宏块的编码量化参数为然后执行步骤l1，其中，ΔQP4表示第四类宏块的可增加编码量化参数；l1、令i'＝i+1, i＝i'，令j'＝j+1, j＝j'，将当前深度视频帧中下一个待处理的宏块作为当前宏块，然后返回步骤f1继续执行，直至当前深度视频帧中的所有宏块处理完毕，其中，i'和j'的初始值均为0，在i'＝i+1, i＝i'和j'＝j+1, j＝j'中符号“＝”为赋值符号；m1、将DL(m, n, k)中下一帧待处理的深度视频帧作为当前深度视频帧，然后返回步骤d1继续执行，直至DL(m, n, k)中的所有深度视频帧处理完毕；⑥-2、确定DL(m, n, k)中的所有深度视频帧中的第一类宏块的可增加编码量化参数ΔQP1、第二类宏块的可增加编码量化参数ΔQP2、第三类宏块的可增加编码量化参数ΔQP3和第四类宏块的可增加编码量化参数ΔQP4的具体值；所述的步骤⑥-2的具体过程为：a2、将DL(m, n, k)中的所有深度视频帧中的第一类宏块的可增加编码量化参数ΔQP1的具体值确定为0；b2-1、将2作为DL(m, n, k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP2的候选参考值；b2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用DL(m, n, k)的初始编码量化参数与ΔQP2的候选参考值的和对DL(m, n, k)中的所有深度视频帧中的第二类宏块进行编码，采用DL(m, n, k)的初始编码量化参数对DL(m, n, k)中的所有深度视频帧中的第一类宏块、第三类宏块和第四类宏块进行编码；b2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用CL(m, n, k)的初始编码量化参数对CL(m, n, k)进行编码，采用DR(m, n, k)的初始编码量化参数对DR(m, n, k)进行编码，采用CR(m, n, k)的初始编码量化参数对CR(m, n, k)进行编码；b2-4、对DL(m, n, k)、CL(m, n, k)、DR(m, n, k)和CR(m, n, k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；b2-5、将4和8分别作为DL(m, n, k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP2的候选参考值，并按照步骤b2-2至步骤b2-4的操作过程，获得对应的虚拟视点绘制质量；b2-6、比较上述获得的三个虚拟视点绘制质量的值的大小，找出最大值的虚拟视点绘制质量，并将最大值的虚拟视点绘制质量对应的ΔQP2的候选参考值确定为DL(m, n, k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP2的具体值；c2-1、将5作为DL(m, n, k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP3的候选参考值；c2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用DL(m, n, k)的初始编码量化参数与ΔQP3的候选参考值的和对DL(m, n, k)中的所有深度视频帧中的第三类宏块进行编码，采用DL(m, n, k)的初始编码量化参数对DL(m, n, k)中的所有深度视频帧中的第一类宏块、第二类宏块和第四类宏块进行编码；c2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用CL(m, n, k)的初始编码量化参数对CL(m, n, k)进行编码，采用DR(m, n, k)的初始编码量化参数对DR(m, n, k)进行编码，采用CR(m, n, k)的初始编码量化参数对CR(m, n, k)进行编码；c2-4、对DL(m, n, k)、CL(m, n, k)、DR(m, n, k)和CR(m, n, k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；c2-5、将8和12分别作为DL(m, n, k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP3的候选参考值，并按照步骤c2-2至步骤c2-4的操作过程，获得对应的虚拟视点绘制质量；c2-6、比较上述获得的三个虚拟视点绘制质量的值的大小，找出最大值的虚拟视点绘制质量，并将最大值的虚拟视点绘制质量对应的ΔQP3的候选参考值确定为DL(m, n, k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP3的具体值；d2-1、将8作为DL(m, n, k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP4的候选参考值；d2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用DL(m, n, k)的初始编码量化参数与ΔQP4的候选参考值的和对DL(m, n, k)中的所有深度视频帧中的第四类宏块进行编码，采用DL(m, n, k)的初始编码量化参数对DL(m, n, k)中的所有深度视频帧中的第一类宏块、第二类宏块和第三类宏块进行编码；d2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用CL(m, n, k)的初始编码量化参数对CL(m, n, k)进行编码，采用DR(m, n, k)的初始编码量化参数对DR(m, n, k)进行编码，采用CR(m, n, k)的初始编码量化参数对CR(m, n, k)进行编码；d2-4、对DL(m, n, k)、CL(m, n, k)、DR(m, n, k)和CR(m, n, k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；d2-5、将9、10、11和12分别作为DL(m, n, k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP4的候选参考值，并按照步骤d2-2至步骤d2-4的操作过程，获得对应的虚拟视点绘制质量；d2-6、比较上述获得的五个虚拟视点绘制质量的值的大小，当其中一个虚拟视点绘制质量的值急剧下降时，将该虚拟视点绘制质量对应的ΔQP4的候选参考值确定为DL(m, n, k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP4的具体值；⑥-3、确定DR(m, n, k)中的所有深度视频帧中的所有宏块和CR(m, n, k)中的所有彩色视频帧中的所有宏块的可增加编码量化参数ΔQP5的具体值；所述的步骤⑥-3的具体过程为：a3、将4+s的值作为DR(m, n, k)中的所有深度视频帧中的所有宏块和CR(m, n, k)中的所有彩色视频帧中的所有宏块的可增加编码量化参数ΔQP5的候选参考值，其中，s的初始值为0；b3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用DL(m, n, k)的初始编码量化参数对DL(m, n, k)进行编码，采用CL(m, n, k)的初始编码量化参数对CL(m, n, k)进行编码，采用DR(m, n, k)的初始编码量化参数与ΔQP5的候选参考值的和对DR(m, n, k)进行编码，采用CR(m, n, k)的初始编码量化参数与ΔQP5的候选参考值的和对CR(m, n, k)进行编码；c3、对DL(m, n, k)、CL(m, n, k)、DR(m, n, k)和CR(m, n, k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；d3、令s'＝s+1, s＝s'，然后返回步骤a3继续执行，直至s的值大于12为止，获得对应的虚拟视点绘制质量，其中，s'的初始值为0；e3、比较上述获得的十三个虚拟视点绘制质量的值的大小，当其中一个虚拟视点绘制质量的值急剧下降时，将该虚拟视点绘制质量对应的ΔQP5的候选参考值确定为DR(m, n, k)中的所有深度视频帧中的所有宏块和CR(m, n, k)中的所有彩色视频帧中的所有宏块的可增加编码量化参数ΔQP5的具体值；⑥-4、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用DL(m, n, k)的初始编码量化参数与ΔQP1的具体值的和对DL(m, n, k)中的所有深度视频帧中的第一类宏块进行编码，采用DL(m, n, k)的初始编码量化参数与ΔQP2的具体值的和对DL(m, n, k)中的所有深度视频帧中的第二类宏块进行编码，采用DL(m, n, k)的初始编码量化参数与ΔQP3的具体值的和对DL(m, n, k)中的所有深度视频帧中的第三类宏块进行编码，采用DL(m, n, k)的初始编码量化参数与ΔQP4的具体值的和对DL(m, n, k)中的所有深度视频帧中的第四类宏块进行编码；采用CL(m, n, k)的初始编码量化参数对CL(m, n, k)进行编码；采用DR(m, n, k)的初始编码量化参数与ΔQP5的具体值的和对DR(m, n, k)进行编码；采用CR(m, n, k)的初始编码量化参数与ΔQP5的具体值的和对CR(m, n, k)进行编码。 【当前权利人】宁波大学 【当前专利权人地址】浙江省宁波市江北区风华路818号宁波大学 【统一社会信用代码】123300004195291066 【引证次数】3.0 【自引次数】1.0 【他引次数】2.0 【家族引证次数】3.0 【家族被引证次数】17

未经允许不得转载：http://www.zhongzhencnc.com/1791358214.html