加州大学河滨分校的计算机科学家可以比当前最先进的方法更准确地检测deepfake视频中被操纵的面部表情。在交换面部身份而不是表情的情况下，该方法也与当前方法一样有效，从而产生了一种检测任何类型面部操作的通用方法。这一成就使研究人员更接近于开发自动化工具，以检测包含宣传或错误信息的被操纵视频。
视频编辑软件的发展使得将一个人的脸换成另一个人的脸并改变原始脸上的表情变得很容易。由于肆无忌惮的领导人和个人部署操纵视频来影响政治或社会舆论，许多人认为识别这些视频的能力对于保护自由民主国家至关重要。存在可以以合理的准确度检测面部何时被交换的方法。但是识别仅改变了表情的面孔更加困难，并且迄今为止，不存在可靠的技术。
“让deepfake研究领域更具挑战性的是，deepfake的创建、检测和预防之间的竞争将在未来变得越来越激烈。随着生成模型的更多进步，deepfakes将更容易合成，也更难与真实区分，”论文合著者、伯恩斯工程学院电气和计算机工程教授AmitRoy-Chowdhury说。
UCRiverside方法在深度神经网络中将任务分为两个部分。第一个分支识别面部表情，并将有关包含表情的区域(例如嘴巴、眼睛或前额)的信息输入第二个分支，称为编码器-解码器。编码器-解码器架构负责操作检测和定位。
该框架称为表达式操作检测或EMD，可以检测和定位图像中已更改的特定区域。
“多任务学习可以利用面部表情识别系统学习的突出特征来有益于传统操纵检测系统的训练。这种方法在面部表情操纵检测方面取得了令人印象深刻的表现，”领导该研究的博士生GhazalMazaheri说。
面部操作的基准数据集基于表情和身份交换。将源视频的表情转移到目标视频上，而不改变目标视频中人的身份。另一个在一个视频中交换两个身份。
在两个具有挑战性的面部操作数据集上进行的实验表明，EMD在检测面部表情操作和身份交换方面具有更好的性能。EMD准确地检测到了99%的被操纵视频。