【摘要】 本发明公开了一种立体视频整帧丢失错误隐藏方法，其从立体视频序列的编码特点及视频序列时域、视点间视频图像信息区域特征的相似性考虑，假设右视点某一时刻帧丢失，利用左右视点图像静止区域与运动区域以及同一视点相邻时刻图像静止区域与运动区域的相似性，通过左右视点已经正确解码的图像帧估计丢失帧中的静止区域与运动区域，然后利用视点间的全局视差将丢失帧中的运动区域划分为遮挡边界区域和非遮挡边界区域，并对遮挡边界区域和非遮挡边界区域分别采用运动补偿预测和视差补偿预测恢复丢失的信息，而对于静止区域则直接采用帧拷贝的方法恢复丢失的信息，本发明方法对于右视点整帧丢失的情况可以有效提高立体视频图像的主观质量和客观质量。 【专利类型】发明授权 【申请人】宁波大学 【申请人类型】学校 【申请人地址】315211 浙江省宁波市江北区风华路818号 【申请人地区】中国 【申请人城市】宁波市 【申请人区县】江北区 【申请号】CN201210065563.X 【申请日】2012-03-13 【申请年份】2012 【公开公告号】CN102595145B 【公开公告日】2014-08-06 【公开公告年份】2014 【授权公告号】CN102595145B 【授权公告日】2014-08-06 【授权公告年份】2014.0 【IPC分类号】H04N7/68; H04N13/00; H04N19/895 【发明人】蒋刚毅; 孙越; 郁梅; 李福翠; 彭宗举; 邵枫 【主权项内容】1.一种立体视频整帧丢失错误隐藏方法，其特征在于包括以下步骤： ①假设立体视频中t时刻的右视点图像帧为丢失帧； ②利用正确解码的t-1时刻的左视点图像帧和t时刻的左视点图像帧，估计立体视频中t时刻的左视点图像帧中的静止区域与运动区域；利用正确解码的t-2时刻的右视点图像帧和t-1时刻的右视点图像帧，估计立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域；具体过程为： ②-1、将t时刻的左视点图像帧分割成多个互不重叠的尺寸大小为M1×N1的图像块，并将分割得到的尺寸大小为M1×N1的图像块定义为第一图像块，1＜M1＜W，1＜N1＜H，W表示立体视频中的图像帧的宽度，H表示立体视频中的图像帧的高度； ②-2、将t时刻的左视点图像帧中当前正在处理的以坐标位置为(x1，y1)的像素点为中心的第一图像块定义为当前第一图像块，其中，0≤x1≤W-M1/2，0≤y1≤H-N1/2； ②-3、在t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x1，y1)的像素点对应坐标位置的像素点为中心，且以[-Δx1，Δx1]为水平方向范围及[-Δy1，Δy1]为垂直方向范围进行，得到每次对应的像素点的平均绝对误差，将在水平方向范围[-Δx1，Δx1]和垂直方向范围[-Δy1，Δy1]内偏移坐标位置为(i1，j1)的像素点的平均绝对误差记为MAD(i1，j1)， 其中，-Δx1≤i1≤Δx1，-Δy1≤j1≤Δy1，D1表示t-1时刻的左视点图像帧中以与当前第一图像块中坐标位置为(x1，y1)的像素点对应坐标位置的像素点为中心且尺寸大小为M1×N1的窗口，“||”为取绝对值符号， 表示t时刻的左视点图像帧中坐标位置为(x1，y1)的像素点的像素值， 表示t-1时刻的左视点图像帧中与当前第一图像块中坐标位置为(x1，y1)的像素点对应的横坐标偏移i1且纵坐标偏移j1后的坐标位置为(x1+i1，y1+j1)的像素点的像素值； ②-4、寻找在水平方向范围[-Δx1，Δx1]和垂直方向范围[-Δy1，Δy1]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-1时刻的左视点图像帧中坐标位置为(x1，y1)的像素点，如果是，则判定当前第一图像块为静止块，否则，判定当前第一图像块为运动块； ②-5、将t时刻的左视点图像帧中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-3继续执行，直至t时刻的左视点图像帧中的所有第一图像块处理完毕，得到由t时刻的左视点图像帧中的所有静止块构成的t时刻的左视点图像帧中的静止区域，及由t时刻的左视点图像帧中的所有运动块构成的t时刻的左视点图像帧中的运动区域； ②-6、将t-1时刻的右视点图像帧分割成多个互不重叠的尺寸大小为M1×N1的图像块，并将分割得到的尺寸大小为M1×N1的图像块定义为第二图像块； ②-7、将t-1时刻的右视点图像帧中当前正在处理的以坐标位置为(x2，y2)的像素点为中心的第二图像块定义为当前第二图像块，其中，0≤x2≤W-M1/2，0≤y2≤H-N1/2； ②-8、在t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x2，y2)的像素点对应坐标位置的像素点为中心，且以[-Δx2，Δx2]为水平方向范围及[-Δy2，Δy2]为垂直方向范围进行，得到每次对应的像素点的平均绝对误差，将在水平方向范围[-Δx2，Δx2]和垂直方向范围[-Δy2，Δy2]内偏移坐标位置为(i2，j2)的像素点的平均绝对误差记为MAD(i2，j2)， 其中，-Δx2≤i2≤Δx2，-Δy2≤j2≤Δy2，D2表示t-2时刻的右视点图像帧中以与当前第二图像块中坐标位置为(x2，y2)的像素点对应坐标位置的像素点为中心且尺寸大小为M1×N1的窗口，“||”为取绝对值符号， 表示t-1时刻的右视点图像帧中坐标位置为(x2，y2)的像素点的像素值， 表示t-2时刻的右视点图像帧中与当前第二图像块中坐标位置为(x2，y2)的像素点对应的横坐标偏移i2且纵坐标偏移j2后的坐标位置为(x2+i2，y2+j2)的像素点的像素值； ②-9、寻找在水平方向范围[-Δx2，Δx2]和垂直方向范围[-Δy2，Δy2]内的所有像素点的平均绝对误差的最小平均绝对误差，判断最小平均绝对误差对应的像素点是否为t-2时刻的右视点图像帧中坐标位置为(x2，y2)的像素点，如果是，则判定当前第二图像块为静止块，否则，判定当前第二图像块为运动块； ②-10、将t-1时刻的右视点图像帧中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤②-8继续执行，直至t-1时刻的右视点图像帧中的所有第二图像块处理完毕，得到由t-1时刻的右视点图像帧中的所有静止块构成的t-1时刻的右视点图像帧中的静止区域，由t-1时刻的右视点图像帧中的所有运动块构成的t-1时刻的右视点图像帧中的运动区域； ③根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，具体过程为： ③-1、采用移动帧差法计算立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量，记为dG， 其中，MAD(d)表示t-1时刻的右视点图像帧在t-1时刻的左视点图像帧上进行水平位移时t-1时刻的左视点图像帧与t-1时刻的右视点图像帧的匹配误差，arg min MAD(d)表示MAD(d)取最小值时的位移d的值，-W/λ1≤d≤W/λ1，λ1表示位移d的判断阈值，D表示t-1时刻的右视点图像帧中以坐标位置为(x，y)的像素点为中心且左起图像左边界右至W-|d|处、高为H的矩形窗口，“||”为取绝对值符号， 表示t-1时刻的右视点图像帧中坐标位置为(x，y)的像素点的像素值， 表示t-1时刻的左视点图像帧中坐标位置为(x+d，y)的像素点的像素值； ③-2、根据立体视频中t-1时刻的左视点图像帧与t-1时刻的右视点图像帧之间的全局视差矢量dG，对t时刻的左视点图像帧中的运动区域以运动块为单位进行水平位移，当dG＞0时将t时刻的左视点图像帧中的运动块向左移动GDB列，当dG≤0时将t时刻的左视点图像帧中的运动块向右移动GDB列，得到t时刻的左视点图像帧中水平位移后的静止区域与运动区域，其中， “||”为取绝对值符号， 表示取不大于 的最大整数，BP表示t时刻的左视点图像帧中的运动块的宽度； ④利用立体视频中t-1时刻的右视点图像帧中的静止区域与运动区域及t时刻的左视点图像帧中水平位移后的静止区域与运动区域，估计丢失帧中的静止区域与运动区域，具体过程为： ④-1、判断t时刻的左视点图像帧中水平位移后的第一图像块和t-1时刻的右视点图像帧中与水平位移后的第一图像块位置对应的第二图像块是否均为静止块，如果是，则判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M1×N1的图像块为初步确定的静止块，否则，判定丢失帧中与水平位移后的第一图像块和第二图像块位置对应的尺寸大小为M1×N1的图像块为初步确定的运动块； ④-2、将丢失帧分割成多个互不重叠的尺寸大小为M×N的第三图像块，判断第三图像块中是否包含有初步确定的运动块，如果是，则判定该第三图像块为最终确定的运动块，否则，判定该第三图像块为最终确定的静止块，其中，1＜M1＜M＜W，1＜N1＜N＜H； ④-3、由丢失帧中的所有最终确定的静止块构成丢失帧中的静止区域，由丢失帧中的所有最终确定的运动块构成丢失帧中的运动区域； ⑤根据丢失帧中的各个宏块实际所在的区域，采用自适应的方法恢复丢失帧中的各个宏块的亮度信息和色度信息，具体过程为： ⑤-1、定义丢失帧中当前正在处理的宏块为当前宏块； ⑤-2、判断当前宏块位于静止区域还是位于运动区域，如果位于静止区域，则直接采用时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息，如果位于运动区域，则再判断当前宏块位于非遮挡边界区域还是遮挡边界区域，如果位于非遮挡边界区域，则采用视差补偿预测方法恢复当前宏块的亮度信息和色度信息，如果位于遮挡边界区域，则采用时域运动补偿预测方法恢复当前宏块的亮度信息和色度信息，其中，遮挡边界区域包括左遮挡边界区域和右遮挡边界区域，左遮挡边界区域和右遮挡边界区域的宽度为C个宏块的宽度， 其中，MP表示丢失帧中的宏块的宽度； ⑤-3、将丢失帧中下一个待处理的宏块作为当前宏块，然后返回步骤⑤-2继续执行，直至丢失帧中的所有宏块的亮度信息和色度信息恢复完毕。 【当前权利人】宁波大学 【当前专利权人地址】浙江省宁波市江北区风华路818号 【统一社会信用代码】123300004195291066 【引证次数】4.0 【他引次数】4.0 【家族引证次数】4.0 【家族被引证次数】18

未经允许不得转载：http://www.zhongzhencnc.com/1791360500.html