2017年12月网上出现了一个惊人的视频,一位以神似盖尔·加朵的女主出现在Reddit的成人交流社区上,一时间该网站差点被挤爆,而且在接下来的数天内,该视频几乎传遍全球成人交友平台,由此揭开了一些有史以来最邪恶的技术:DeepFake!
DeepFake到底是干嘛的,怎么能做到易容术?
DeepFake是一种动态换脸技术,很多朋友肯定会认为换脸谁不会啊,PS技术分分钟把脸给换了,而且可以做到天衣无缝,网上早就曝出各种各种明星的换脸PS照,搞到纷纷辟谣证明那并不是自己,而且还有PS照敲诈勒索,还听的不够多吗?
美白,不过是雕虫小技
其实静态换脸和动态换脸是不一样的,视频中人的状态是动态的,比如一个60fps(60帧)的视频中,每秒钟画面更新60次,如果是PS的话需要处理60张静态图片,然后将其前后连接起来形成一个动态图,一个短视频动辄数分钟,甚至十多分钟,那么要处理大约一分钟3600张的比例,3分钟大约要10000多张,那不是要搞死人的节奏么?
DeepFake换脸爱因斯坦关于新冠病毒讲话:告诫大家新冠不可怕,要勤洗手
所以DeepFake的出现解决了这个问题,并且它可以根据当前被换对象的动作自动切换脸的状态以及表情,还有眼睛鼻子与嘴型的协调,使得被换对象的表现恰到好处,甚至可以让粗心大意的你根本就看不出来狸猫已经换掉了太子!
DeepFake是怎么实现这个过程的?
DeepFake有几个过程,理解起来也不难,分别就是人脸定位建模,人脸动态转换和图像动态拼接,大致有如下几个步骤:
人脸定位建模
这个技术其实很普遍,人脸识别技术发展到现在已经非常成熟,比如人脸刷卡,刷脸支付或者高铁车站的刷脸检票等,人的面部特征是几乎就是唯一的,但这些唯一建立在几个特征之间的联系,比如眼睛、嘴唇以及鼻子之间的尺寸,还有脸型特征、眉毛与面部其他突出的特征!这些参数识别后将转换成数字模型。
人脸转动态转换
扫描一个人的面部特征,不可能扫描他(她)的所有状态下的特征,比如说话、哭和笑等,那么就必须有一个将人脸的特征通过特定的模型库或者使用dlib和OpenCV等技术抽取选择对象动态特征建立成动态库,再结合取得的数字模型,将没有的表情用数字模拟的方式展现出来!
这种技术依赖于一种称为自动编码器的神经网络技术,可以建立目标对象动作数据库,以供学习,采样时间越久,那么其学习表情的精准度越高。
图像动态拼接
要将目标人物的动态脸型拼接到“演员”身上,那么脸型尽量接近当然是最好的选择,但如果有差别,也不要担心,可以将脸型稍做修饰,以和“演员”的脸天衣无缝,因为我们在识别一个人的脸部特征时,主要就看她(他)的眼睛、鼻子嘴巴和眉毛以及脸部关键特征,对于稍稍变形了脸型其实关系并不大!
因此DeepFake真正有技术含量的地方就在于此,拼接的天衣无缝,当然是最好的,而前期的处理过程时间也很关键,当然在现在仍然难以在直播中切换,因为需要大量的处理过程,只能录像,然后处理转换后再输出,但技术在发展,未来实现直播切换并不是一个难题!
这么优秀的DeepFake技术,为什么会被全球封禁?
各位从开头也知道了DeepFake技术到底有多邪恶,其实这种技术最早是被用来作为影视后期使用的,但做到像DeepFake那样公开,且轻量化,甚至连纽约州立大学奥本尼分校教授数字媒体取证的专家 Siwei Lyu也被惊到了,他称Github上公开的技术非常优秀,代码短小精悍!
因此盖尔·加朵的移花接木是其打响的第一炮,DeepFake技术瞬间走红于网络,但由于盖尔·加朵知名度太高了,短短数天后,经受不住压力的Reddit的成人交流社区被迫将DeepFake封禁,此后DeepFake技术就失控了,因为设计这个架构的大神将DeepFake技术代码公开了,将其上传到了Github,一个自由共享代码的网站,所以只要你有技术,你也可以将其下载使用。
如果DeepFake换了人脸,能被识别出来吗?
DeepFake技术的可怕在于我们很难分辨真假,比如在“茉莉花”或者“天鹅绒”革命时期的混乱状态下,如果有人发布一个所在国领导火上浇油的视频,那么可想而知会引起多大的混乱,当然我们并不太关心这种国际大事,那么会发生在身边吗?
当然也有可能,想必各位对那种打电话称是你儿子女儿被绑架或者出车祸送医院,让你赶紧准备钱的骗术应该已经有免疫力了,但要是来一个视频电话呢,眼见为实,99%的人估计瞬间就懵了!所以如何识别这种伪造技术?
2019年6月份,加州大学伯克利分校和南加州大学的研究者们提出了一种技术,可以将DeepFake处理后的脸和正常人脸区分出来,他们先运用生成式对抗网络,提取了目标对象的脸型和表情特征的特有数据,然后将其和DeepFake技术处理后的图像对比,识别率达到了92%!
2020年8月份,阿里安全图灵实验室和中科院计算所合作提出一种只需要视频级别标注的新型 DeepFake视频检测方法,能够从视频中准确识别出被篡改的人脸。
这个识别监测技术是基于DeepFake是单帧篡改的,同一人脸在相邻帧上会有一些抖动,这和自然录像的视频人脸特征会存在差异,因此该研究设计了时空实例,用来刻画帧间一致性,辅助DeepFake检测,这个技术的优势是不需要事先识别建模!
阿里新算法从多个人物中识别被篡改的人脸的论文
尽管已有政策强制要求DeepFake视频在传播时必须标注是DeepFake视频,但谁又能保证有人不将其用于非法用途呢?
DeepFake技术还有哪些超丧的用途,各位可以畅所欲言!