本周早些时候，Facebook和Twitter取消了与互联网研究机构(Internet Research Agency)相关的社交媒体帐户，该机构是四年前干涉美国总统大选的俄罗斯巨魔农场，该网站已将错误信息传播至多达1.26亿个Facebook用户。今天，Facebook在11月的选举日之前推出了旨在遏制虚假信息的措施。Deepfake可以制作史诗般的模因或在每部电影中加入Nicholas Cage，但它们也可能破坏选举。随着选举干扰的威胁越来越大，两个AI研究人员团队最近推出了新颖的方法，可以通过观察心跳的证据来识别深层虚假。
现有的Deepfake检测模型专注于传统的媒体取证方法，例如跟踪不自然的眼睑移动或脸部边缘变形。用于检测GAN独特指纹的第一项研究于2018年推出。但是光电容积描记法(PPG)可以将视觉提示(例如血流如何导致肤色轻微变化)转变为人的心跳。在诸如医疗保健等领域，正在探索远程PPG应用程序，但是PPG还被用于识别深层伪造，因为当前尚不知道生成模型能够模仿人类的血液运动。
在上周发布的工作中，宾厄姆顿大学和英特尔研究人员介绍了AI，该技术超越了Deepfake检测功能，可以识别哪种Deepfake模型制作了篡改视频。研究人员发现，deepfake模型视频会留下独特的生物学和生成噪声信号，即所谓的“ deepfake心跳”。这种检测方法从一个人的面部中的32个不同点寻找残留的生物信号，研究人员将其称为PPG细胞。
“我们提出了Deepfake源检测器，该检测器可以预测任何给定视频的源生成模型。据我们所知，我们的方法是第一个对源检测进行更深入分析的方法，该方法可以解释Deepfake视频生成模型的残差。”“我们的主要发现来自这样一个事实，我们可以将这些生物信号解释为假心跳，其中包含每个模型的残差的特征性变换。因此，它引起了对这些生物信号的新探索，不仅可以确定视频的真实性，还可以对产生视频的源模型进行分类。”
在使用Deepfake视频数据集的实验中，PPG单元方法以97.3%的准确度检测了Deepfake，并从流行的Deepfake数据集FaceForensics ++中识别了生成的Deepfake模型，其准确度为93.4%。
研究人员的论文“深造假的心如何跳动?上周出版了《通过解释带有生物信号的残留物进行深度假源检测》，并将被本月晚些时候举行的国际生物特征学联合会议所接受。
在另一项最新工作中，来自阿里巴巴集团，九州大学，南洋理工大学和天津大学的AI研究人员介绍了DeepRhythm，这是一种可从视觉PPG识别人的心跳的Deepfhythm检测模型。作者说，DeepRhythm与以前在视频中识别真人的现有模型不同，因为它试图识别节奏模式，“因为假冒的视频可能仍然具有心律，但是通过Deepfake方法减少了它们的模式，并且与真实模式不同。 。”
DeepRhythm在网络模型的各个阶段都整合了心律运动放大模块和可学习的时空注意机制。研究人员说，使用FaceForensics ++作为基准时，DeepRhythm的性能优于许多最新的Deepfake方法。
该团队写道：“FaceForensics ++和Deepfake Detection Challenge-preview数据集的实验结果表明，我们的方法不仅优于最新方法，而且对各种降级方法都具有鲁棒性。”该论文名为“DeepRhythm：用注意力视觉心跳节奏暴露DeepFakes”，已于6月发布，并于上周进行了修订，并于10月召开的ACM多媒体会议上接受了发表。
两组研究人员均表示，他们希望在未来的工作中探索将PPG系统与现有视频身份验证方法结合的方法。这将使他们能够获得更准确或更可靠的识别Deepfake视频的方式。
本周早些时候，Microsoft为Azure引入了视频身份验证Deepfake检测服务。作为其发布的一部分，视频身份验证将通过AI基金会的Reality Defender计划提供给新闻媒体和政治活动。
目前，随着人们对选举干扰的担忧日益加深，特朗普总统及其团队传播的篡改视频和虚假信息似乎构成了比假货更大的威胁。
周一，白宫社交媒体总监丹·斯卡维诺(Dan Scavino)分享了一段视频，Twitter将其标记为“操纵性媒体”。原始视频显示哈里·贝拉方丹在接受新闻采访时睡着了，而在经过篡改的版本中，民主党总统候选人乔·拜登却似乎睡着了。周一，哥伦比亚广播公司萨克拉曼多的一位主持人加入视频，称其为假冒产品，由于版权所有者的举报，Twitter已删除了该视频。但是，经过篡改的视频已被观看超过一百万次。
