新闻中心-大发线上备用网址-大发体育网上娱乐开户-大发线上娱乐开户网址

提示

尊敬的用户,您的ie浏览器版本过低,为获取更好的浏览体验,请升级您的ie浏览器。

基于成像环境约束的图像及视频感兴趣区域的篡改检测

引言
 
随着数字时代的到来和图像编辑技术的发展,针对图像及视频的编辑、修改变得越来越容易。诸如adobe photoshop之类的简单易用的软件让图像、视频编辑不再是专业人士的特权,更有“美图秀秀”等手机应用让每个女孩的自拍都像大明星一般神清气爽。一方面,多媒体内容的编辑技术丰富和美化了我们的视觉世界,促进了创意和艺术的展现。然而每一样技术都可能成为一把双刃剑,在另一方面,恶意的图像篡改为社会带来了巨大危害!视频人脸操控、人像拼接、图像翻拍、人脸识别欺骗等伪造手段层出不穷,使得图像与视频的真实性和可信性成为了一个非常严重的问题。在法庭取证、新闻报道、社交网络、保险索赔、摄影比赛等严肃的场合,图像内容的真实性显得尤为重要。


1.jpg

图1 图像及视频的篡改案例


      为了对抗恶意的图像、视频篡改,图像取证技术应运而生。传统的主动式图像防伪往往需要往图像里嵌入水印和签名等,这不仅增加了成本,还有可能破坏图像的呈现质量,因此并没有得到普及。而被动式的图像篡改取证技术由于其通用性和不依赖主动信息嵌入,在近些年获得广泛的关注和研究。以下介绍我们在这个领域进行的一些研究和提出的一系列篡改检测工具算法。
 
我们的工作
 
我们主要关注图像内容中感兴趣区域的篡改检测问题,这些区域通常包括人脸、人体等。由于对这些区域的篡改最具有破坏性和潜在危害性,研究针对这些区域的有效篡改检测算法就具有了非常显著的价值。我们的总体思想是通过发掘成像环境中潜在的物理和几何的不一致性来判断内容的真伪。其中可利用的环境线索包括光照环境、三维几何、生理信号、相机参数等。

      我们基于成像环境约束来检测篡改的总体思想框架可见图2。首先需要基于对成像过程的理解进行成像建模,该模型描述了场景信息(几何、姿态、光照等)到图像像素的映射关系,一般是参数化的模型,如小孔相机模型、朗伯体反射模型等;然后我们采用计算机视觉、模式识别的相关技术,基于成像模型从待检测图像或视频中部分恢复其成像环境的信息。该步骤相当于参数估计,可用最大似然估计等算法。由于逆过程一般是病态问题,我们借助一些先验知识和做出一些合理假设来得到最终的估计结果;最后一步是判断估计得到的场景信息和已知信息或其他估计信息之间的一致性,以此做出图像是否被篡改的判断。这些一致性包括光照环境的一致性、几何共面性、相机内参的一致性等。一致性分析阶段往往还需要评估参数估计的不确定性来得出判断结果的置信度。


2.jpg

图2 基于成像环境约束的篡改检测总体框架


       基于上述所提出的篡改检测的范式,我们研究了多种新颖的或改进的工具算法。其中包括:基于人脸视频脉搏信号提取的虚假人脸检测,可应用于检测cg人脸以及人脸识别中的活体检测;基于精确的人脸光照环境估计的人像拼接检测算法及其一般化的自动算法;基于鞋子3d形变模型和姿态估计的“悬浮脚”人像拼接检测算法;基于人脸透视失真现象的相机参数估计,可用于人脸翻拍、拼接检测及活体检测。这些算法的摘要图如图3所示。以下我们简要介绍各种算法的技术手段和效果。


3.jpg

图3 多种基于环境约束的篡改检测算法


1基于人脸视频脉搏信号提取的虚假人脸检测

    心跳脉搏是广泛存在于生物体内的一种自然的生理信号。有研究发现[1],心跳造成的血液供应量变化会引起人的皮肤呈现周期性的颜色变化,这个周期变化是与心跳同步的,反应了脉搏信号。虽然颜色变化的幅度极其微小,且人眼无法感受,但是在一定的受控条件下,这种颜色变化可以被摄像机的感光元件捕捉并记录下来。由于真实的活体人脸视频中包含了脉搏信号,而计算机合成(cg)人脸或者照片的翻拍视频中不存在这种生理信号,这个线索有可能应用于检测cg人脸视频或用于人脸识别中的活体检测任务。


4.png

图4 基于人脸视频脉搏信号提取的虚假人脸检测流程图


    如图4所示是我们提出的算法流程图。对于待检测视频,我们截取足够长度的稳定视频,可以增加信号的频域分辨率并消除头部剧烈运动的影响。然后基于人脸关键点跟踪的结果对给定的人脸皮肤区域进行稳定的跟踪,并从中提取r,g,b三个通道的原始灰度随时间变化的信号。最后我们采用一种基于色度空间投影的脉搏信号提取算法,可以在一定程度上抑制由于运动和光照变化而带来的噪声干扰。最终的判断基于脉搏信号的频率域分析:如果在正常的心率频段存在明显的脉搏信号则判断为正常的人脸视频,否则为虚假的人脸视频。实验验证了所提算法对于区分cg和真人视频的有效性,更多细节请参看[2]。

2基于精确的人脸光照环境估计的人像拼接检测算法及其一般化的自动算法
 
        在很多情况下,处于同一场景中的不同物体所处的光照环境是相同的。然而当图像拼接发生时,被移入的物体(如人脸)所在的原光照环境很可能与拼接图片中的光照环境产生不符,这一点可以被用于图像拼接的检测。我们的人脸拼接算法流程图如图5所示。


5.png

图5 基于精确的人脸光照环境估计的人像拼接检测算法


      不同的光照环境会使物体表面的亮度呈现不同的分布,比如当光源在物体左侧时,物体的左侧会比右侧显得更亮。同时物体的几何形状和表面纹理也对最终的图像产生影响。为了准确刻画此成像过程,我们考虑了光照环境、物体非凸形状、物体表面纹理等因素作用下的准确的成像模型,如下式所示:


 该模型基于朗伯体反射,并进一步考虑了非凸形状的遮挡以及表面反射率的变化因素,可以更加准确地刻画人脸成像。基于该成像模型,我们采用球型谐波函数表示光照和转移函数,利用渲染图像集拟合转移系数,最终求得待测图像人脸所处的光照系数。通过阈值比较而得到的拼接判定示例可见图2中的人脸拼接图片,其中我们成功地检测出该图片中两张人脸的光照环境存在较大差异。为进一步解决现有方法不能方便地获取单张任意姿态和表情的人脸模型的问题,我们采用基于关键点的人脸3d形变模型拟合技术[3]实现了人脸光照不一致性检测的一般化自动算法。相关工作细节请参考[4-6].

3基于鞋子3d形变模型和姿态估计的“悬浮脚”人像拼接检测算法


算法.png


       对于大多数的3d物体,在支撑平面上稳定静止站立的必要条件是与支撑面间存在平面接触关系。比如人静止地站在地面上时,两只鞋子是与地面存在平面接触的。然而图像拼接仅仅是2d图像上的编辑,往往不能保持3d场景中的约束关系。当对人身像进行拼接时,通常情况下很难确保人的双脚和地面存在3d场景意义上的物理接触,这就造成了“悬浮脚”的现象,如图6所示。基于这个现象,我们提出从图像中估计鞋子的3d姿态以及地面的3d法向量,并通过判断它们之间的平面平行性来检测人像拼接。
 图6 人像拼接的“悬浮脚”现象

       我们的技术框架如图7所示。为了同时估计未知的鞋子3d形状,我们建立了统计的鞋子3d形变模型。我们基于图像中一双鞋子的轮廓点观测来拟合3d形变模型,同时估计得到鞋子的3d形状与3d姿态。对于地面的法向量,我们通过标注平行直线的端点来估计地面消隐线,并由此计算地面的3d法向量。在平行性度量时,我们也考虑了估计过程中的不确定性,得到了更为可靠的判定结果。利用我们的算法,图7图像中的右侧人像可以被成功检测为拼接部分。


图7 “悬浮脚”检测流程图

4基于人脸透视失真现象的相机参数估计

       图像翻拍和欺骗人脸识别系统具有相似的手段,都涉及图像的二次成像。这就牵扯到前后两次成像所用两个相机参数之间的不一致性。大多数的相机都可以用小孔相机很好地建模,相机成像中的一个有趣现象是透视失真。如图8所示,同一人物在不同的拍摄距离下会呈现不同程度的透视失真。其中最左侧的人脸是在近距离下用短焦距拍摄的,其呈现的“近大远小”扭曲最为强烈。如果用20mm焦距的相机翻拍200mm成像的照片,其展现出的失真特性必定与用20mm焦距拍摄真实人脸得到的一次成像不同。因此,我们提出基于不同的透视失真特性来检测人脸图像的翻拍和拼接。

        

图8 不同拍摄距离下的透视失真程度不同

       由于不同的失真特性反映了不同的拍摄位置,进而间接反映了不同的相机内参(焦距等),我们提出利用人脸图像的关键点和轮廓点等观测,借助已知3d人脸模型对相机参数进行估计。最终将估计得到的相机内参与相机的标称内参进行比较发现可能的不一致性。算法流程如图9所示。不同于传统的相机标定算法(如换金准则法),由于人脸关键点位置的不确定性,造成了参数估计的困难。我们提出在基于关键点对应的参数估计基础上,进一步基于人脸轮廓点使用icp算法进行进一步参数调优。最终通过采样关键点的不确定度范围分析参数估计的不确定性,并得到更可靠的判别结果。一张翻拍人脸的检测结果实例如图2中图片所示,可见估计的相机光心点云(蓝色点云)与真实值(红色顶点)具有较大的不一致性。


图9基于人脸透视失真现象的相机参数估计流程图

      综上所述,我们在基于成像环境约束的篡改检测框架下提出了多种有效的图像篡改检测工具算法,丰富了图像取证的工具集,必将使得图像篡改的逃脱成本越来越高。未来此领域的发展方向包括发掘更多、更有效的场景线索,研究更有效的针对特定图片的不确定性分析的策略和理论,从基于估计三维场景线索到借助实地三维场景重现的更严肃的取证方法等。

 

[1]h. y. wu, m. rubinstein, e. shih, j. guttag, f. durand, and w. freeman, "eulerian video magnification for revealing subtle changes in the world," acm transactions on graphics, vol. 31, pp. 1-8, jul 2012.

[2]b. peng, w. wang, j. dong, and t. tan, "detection of computer generated faces in videos based on pulse signal," in 2015 ieee china summit and international conference on signal and information processing (chinasip), 2015, pp. 841-845.

[3]x. zhu, z. lei, j. yan, d. yi, and s. z. li, "high-fidelity pose and expression normalization for face recognition in the wild," in proceedings of the ieee conference on computer vision and pattern recognition, 2015, pp. 787-796.

[4]b. peng, w. wang, j. dong, and t. tan, "automatic detection of 3d lighting inconsistencies via a facial landmark based morphable model," in 2016 ieee international conference on image processing (icip), 2016, pp. 3932-3936.

[5]b. peng, w. wang, j. dong, and t. tan, "optimized 3d lighting environment estimation for image forgery detection," ieee transactions on information forensics and security, vol. 12, pp. 479-494, 2017.

[6]p. bo, w. wei, d. jing, and t. tieniu, "improved 3d lighting environment estimation for image forgery detection," in 2015 ieee international workshop on information forensics and security (wifs), 2015, pp. 1-6.

(转载彭勃)