【摘要】 本发明公开了一种多视点视频整帧丢失错误隐藏方法，该方法通过预先判断丢失帧中各个图像块在时域与视点间相关性的强弱，以选择合适的参考帧，采用不同的恢复方法恢复丢失帧中的图像块，并对恢复得到的初步恢复帧进行空洞区域填补处理，得到丢失帧的最终恢复帧，优点在于本发明方法有效利用了视点间相关性与时域相关性，对于丢失帧中预先判定为时域相关性较强的图像块，采用时域直接拷贝的方法恢复图像块，不仅可减少计算复杂度，而且能提高所恢复的这部分图像块的主客观质量，而对于丢失帧中预先判定为时域相关性较差的图像块，采用视点间预测恢复的方法恢复图像块，可以有效提高这部分图像块恢复的准确性。 【专利类型】发明授权 【申请人】宁波大学 【申请人类型】学校 【申请人地址】315211 浙江省宁波市江北区风华路818号 【申请人地区】中国 【申请人城市】宁波市 【申请人区县】江北区 【申请号】CN201210005799.4 【申请日】2012-01-10 【申请年份】2012 【公开公告号】CN102572446B 【公开公告日】2014-02-26 【公开公告年份】2014 【授权公告号】CN102572446B 【授权公告日】2014-02-26 【授权公告年份】2014.0 【IPC分类号】H04N7/68; H04N19/895 【发明人】郁梅; 程清栋; 李福翠; 蒋刚毅 【主权项内容】1.一种多视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤： ①假定多视点视频的第sc个视点中的第tc时刻的图像帧为丢失帧，记为f(tc，sc)，则将多视点视频的第sc个视点中已正确解码的时域上先于丢失帧f(tc，sc)且离丢失帧f(tc，sc)最近的图像帧记为f(tp，sc)，将多视点视频的第sc个视点中已正确解码的时域上后于丢失帧f(tc，sc)且离丢失帧f(tc，sc)最近的图像帧记为f(tb，sc)，令sl为多视点视频中离第sc个视点最近的左视点的编号，令sr为多视点视频中离第sc个视点最近的右视点的编号，将多视点视频的第sl个视点中已正确解码的第tc时刻的图像帧记为f(tc，sl)，将多视点视频的第sr个视点中已正确解码的第tc时刻的图像帧记为f(tc，sr)，将多视点视频的第sl个视点中已正确解码的第tp时刻的图像帧记为f(tp，sl)，将多视点视频的第sr个视点中已正确解码的第tp时刻的图像帧记为f(tp，sr)，将多视点视频的第sl个视点中已正确解码的第tb时刻的图像帧记为f(tb，sl)，将多视点视频的第sr个视点中已正确解码的第tb时刻的图像帧记为f(tb，sr)，其中，tp为多视点视频的第sc个视点中已正确解码的时域上先于丢失帧f(tc，sc)且离丢失帧f(tc，sc)最近的图像帧f(tp，sc)所在的时刻，tp＜tc，tb为多视点视频的第sc个视点中已正确解码的时域上后于丢失帧f(tc，sc)且离丢失帧f(tc，sc)最近的图像帧f(tb，sc)所在的时刻，tc＜tb； ②计算f(tc，sl)与f(tc，sr)的帧差图像，记为f(tc)，f(tc)＝|f(tc，sl)-f(tc，sr)|，同时计算f(tp，sl)与f(tp，sr)的帧差图像，记为f(tp)，f(tp)＝|f(tp，sl)-f(tp，sr)|，然后计算f(tc)与f(tp)的帧差图像，记为fa，fa＝|f(tc)-f(tp)|，其中，“||”为取绝对值符号； ③将fa分割成 个互不重叠的尺寸大小为m×m的第一图像块，统计fa中的每个第一图像块中像素值大于统计值判断阈值T0的像素点的个数，并确定fa中的每个第一图像块的映射状态：对于fa中的第i个第一图像块，将其记为Blki，统计Blki中像素值大于统计值判断阈值T0的像素点的个数，记为Ni，并确定Blki的映射状态，记为s(i)， 其中， W和H分别表示多视点视频中的图像帧的宽度和高度，N0为映射状态判断阈值； ④将丢失帧f(tc，sc)分割成 个互不重叠的尺寸大小为m×m的第二图像块，将f(tp，sc)分割成 个互不重叠的尺寸大小为m×m的第三图像块，将f(tc，sl)分割成 个互不重叠的尺寸大小为m×m的第四图像块，然后根据fa中坐标位置与丢失帧f(tc，sc)中的第二图像块的坐标位置对应的第一图像块的映射状态，利用f(tp，sc)中坐标位置与丢失帧f(tc，sc)中的第二图像块的坐标位置对应的第三图像块中各个像素点的像素值或f(tc，sl)中坐标位置与丢失帧f(tc，sc)中的第二图像块的坐标位置对应的第四图像块中各个像素点的像素值，逐一初步恢复丢失帧f(tc，sc)中的各个第二图像块，获得丢失帧f(tc，sc)的初步恢复帧，记为f′(tc，sc)，具体过程为： ④-1、定义丢失帧f(tc，sc)中当前待初步恢复的第i个第二图像块为当前第二图像块，记为Bi，令 为当前第二图像块Bi的左上角顶点的坐标位置； ④-2、判断fa中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置 对应的第一图像块Blki的映射状态s(i)是否为0，如果是，则将f(tp，sc)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置 对应的第三图像块BPi中各个像素点的像素值复制给当前第二图像块Bi中对应的像素点；否则，通过视差估计方法计算f(tc，sl)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置 对应的第四图像块BLi在f(tc，sr)中的最佳匹配块，并得到相应的视差矢量(dxi，dyi)，然后将f(tc，sl)中左上角顶点的坐标位置与当前第二图像块Bi的左上角顶点的坐标位置 对应的第四图像块BLi中各个像素点的像素值复制给丢失帧f(tc，sc)中左上角顶点的坐标位置为 的大小为m×m的图像块中对应的像素点，其中， DL表示多视点视频的第sl个视点和第sc个视点之间的距离，DR表示多视点视频的第sr个视点和第sc个视点之间的距离； ④-3、令i′＝i+1，i＝i′，将丢失帧f(tc，sc)中下一个待初步恢复的第二图像块作为当前第二图像块Bi，返回步骤④-2继续执行，直至丢失帧f(tc，sc)中的所有第二图像块完成初步恢复为止，获得丢失帧f(tc，sc)的初步恢复帧f′(tc，sc)，其中，i′的初始值为0； ⑤对丢失帧f(tc，sc)的初步恢复帧f′(tc，sc)进行空洞区域填补处理，获得丢失帧f(tc，sc)的最终恢复帧。 【当前权利人】宁波大学 【当前专利权人地址】浙江省宁波市江北区风华路818号 【统一社会信用代码】123300004195291066 【引证次数】2.0 【他引次数】2.0 【家族引证次数】2.0 【家族被引证次数】13

未经允许不得转载：http://www.zhongzhencnc.com/1791353942.html