雷布斯有一句名言:“站在风口上,猪都能飞起来”,大意是只要适应潮流,做出符合众人需求的产品,那么坐上火箭一般的发展就不远了!但2017年横空出世的一项技术遭遇却彻底打破了这个规律,这就是全球追捧却被瞬间打入冷宫的DeepFake技术!
DeepFake到底是什么技术,为何会遭全球唾弃?
DeepFake到底是什么技术?我们先不忙说明这是啥技术,来看看如下文字和动画:
“女士们,先生们 我是Albert Einstein。 全体人类正在陷入一场战争, 而我们的敌人却看不见摸不着。 请大家待在家里,保持距离,勤洗手。 团结起来,我们一定能够战胜新冠病毒。 谢谢。”
这爱因斯坦如假包换,如果他说的不是新冠病毒的话,连种花家都要信了!对了,这就是DeepFake所展现的超级换脸技术,配合制作者高超的视频特效手法,复活名人、以假乱真不过是雕虫小技而已!
这项划时代的技术最早源自2017年,一个匿名的用户“DeepFakes”将《神奇女侠》中女主盖尔·加朵的脸移植到了一部成人电影的女主身上,再辅以技术手段将其完美的融合,之后将其上传到了Reddit的成人交流社区,一时间这部成人电影流量大增,观众大呼过瘾!
但很明显这不符合Reddit的成人交流社区的目标定位,因为这部电影会让观众误会就是盖尔·加朵,这个后果是极其严重的,因此Reddit的成人交流社区官方迅速行动,以侵犯了他人隐私为由将其封禁!DeepFakes对于Reddit官方的封禁极度不满,为报复Reddit官方封禁,直接在Github将Deepfake技术的AI代码免费公开!
此后以Deepfake的AI代码为基础的APP就开始出现了,当然有了专业软件工程师的加入和其外围技术代码的完善,这个换脸水准是越来越高!而且这项技术真的是刚需,因为在初期野蛮发展的这段时间里,以Deepfake技术代码的APP制作的视频中,有96%都涉及色情,当然娱乐圈的公众人物妥妥的成了首选对象!
DeepFake使用了什么技术,怎么那么厉害?
纽约州立大学奥本尼分校教授数字媒体取证的专家 Siwei Lyu称这个DeepFakes在Github上公开的技术非常优秀,代码极其紧凑!
它依赖于一种称为自动编码器的神经网络,将图像缩小到较低维空间编码器和一个从潜在表示中重建图像的解码器组成,Deepfake通过通用编码器来利用此架构,该编码器可将人的特征编码到这个空间中,而特征包括面部特征和身体姿势的关键特性,并且还有专门针对目标特征采样建模的训练模型,这意味着只要采样足够多的数据,那么将会建立出更逼真的模拟对象!
Deepfake是怎么换脸的?
一般Deepfake的换脸会有几个过程,分别是人脸定位、转换以及图像拼接,这比较容易理解,那么具体是个什么过程呢?
人脸定位
我们日常中的人脸识别中就用到了这个技术,早期是平面的,一张照片即可被欺骗,现代人脸识别中还加入了立体识别,为了防止用硅胶面套伪造图像,最新的还有红外模式识别,也就是硅胶这种和体温有明显差异的面套就难以通过!
人脸识别
不过在Deepfake中不需要立体,也不需要红外,它主要抽取人脸的表情特征,侧重点是有差异的,因为它要建立一个运动的脸部表情数据,比如用dlib和OpenCV等主流的工具包直接抽取!如果想要更逼真的人脸的话,还需要一个强大深度模型算法!
《钢铁侠》中的女演员艾米·亚当斯(左)被修改为具有尼古拉斯·凯奇特征的视频
人脸转换
要讲抽取的人脸应用到目标脸部,那么除了保留基本特征以外还要对采样脸部和目标脸部完美结合,做到无缝连接才没有违和感,要不然人类肉眼很快就是能辨认出采样脸部和目标头部结合处的不一致!
这中间就包含了将取得的人脸图像采样成短矢量,再将此短矢量恢复到目标人脸,这些矢量元素保留了人脸的主要特征,比如眉毛浓淡、鼻子挺拔、脸部肤色以及眼睛大小比例等。并且在这个过程中需要达到使用目标的脸部表情,但却用采用脸部表达,完美的直播换脸方式需要强大的算力,但如果是录播则可以慢慢操刀一帧一帧修!
图像拼接
人脸转换做的是否完美直接关系到表情是否生硬,但图像如果拼接不好,就像脸化妆了脖子却没有,两者生硬过度或者角度上有些不一致,很明显就能看出是伪造,因此拼接除了需要在两者之间做好过渡外,还需要追踪脸部或者身体动作,以便展示的人脸角度会目标动作一致!
(a)原始人物;(b,c) Deepfake 人物
DeepFake的衍生应用
这个技术出现时革命性的,比如当前流行的在线试穿就是最简单的应用,还在电影拍摄和后期制作中产生了极大的帮助,甚至特型替身演员都会有失业的风险,当然未来的虚拟人都有这种技术的影子。
DeepFake的严重危害性
其实Deepfake早在上世纪九十年代开始就萌芽了,在电影和数字视频中早已有应用,当然被公众关注确实是2017年Reddit上的盖尔·加朵事件!这让全世界都目睹了它的潜在危害性,因为你根本就搞不清楚正在跟你对话的人到底是你本人还是别人,因为Deepfake连声音都能模拟,请问你慌不慌?
华尔街日报2019年3月报道,犯罪分子利用Deepfake技术,冒充英国某能源公司母公司CEO的声音,成功诈骗了22万欧元!电话中这位CEO要求将资金发给匈牙利的供应商,并声称是紧急事件,要求一小时内付款,结果就是信以为真了,损失的22万欧元由保险公司 Euler Hermes(裕利安宜)集团承担,这保险公司够倒霉的!
穆罕默德·阿兹明·阿里
2019年6月13日,网上曝出马来西亚经济部长Azmin Ali与男性发生关系的视频,随后穆罕默德·阿兹明·阿里本人否认是这个视频的主角,此事轰动了马来西亚,后来被证实这不过是Deepfake技术伪造而已!
2019年1月11日,西雅图电视台播放了福克斯公司的分支机构KCPQ在其椭圆形办公室演讲中播出了特朗普的伪造视频,图像中特朗普头比平时要大一些,肤色也是特别的橙红色,演讲时舌头经常伸出,此后一名手机拍摄视频并篡改视频的雇员被解雇。
2020年4月,一个“灭绝叛乱”的组织在Facebook上发布了比利时总理索菲·维尔梅斯关于了森林砍伐与COVID-19之间可能联系的演讲,24小时内超过十万人观看了此视频!
比利时总理索菲·维尔梅斯(右)
邪恶黑科技DeepFake是一把双刃剑,但现在看起来似乎是邪恶的那一面更多一些,它让我们实在难以区分真假,甚至至亲之间打个视频电话都得有一些约定的联系方式,否则你都不知道对面的那个人到底是不是你的爸爸(儿子)!