深度伪造与检测技术综述炸鸡

dapao
论文阅读 深度伪造

目前还未完成此炸鸡，进度在 3.1 待补。

1. 深度伪造技术

1.1 换脸伪造技术

1.1.1 基于图形学伪造

这个应该不是我们的重点。不过列几个我感兴趣的

  1. 分割思路换脸，网络分割 - 10

1.1.2 基于学习的伪造

  1. deepfake 开源换脸项目，交换两个学习不同人脸的编码器 - 1
  2. gan 技术 - 8
  3. Faceswap-GAN - 9
  4. 风格迁移角度解决，内容损失，风格损失函数 - 16
  5. 少量图片，基于 gan 换脸。引入特定区域，就无关是哪个人了 - 11
  6. 基于 GAN 生产假脸 StarGAN- 17、Stackgan - 19、PGAN - 26
  7. 和篡改人脸属性，改年龄 conditional-GAN - 18,25
  8. GAN 保持全局和局部，生成不同人脸视角 - 24

1.2 表情伪造

  1. face2face - 27
  2. 时空架构的生成网络，迁移头部表情 - 20
  3. 延迟神经渲染框架 - 21
  4. 循环神经网络简历语音到嘴型的映射 - 30
  5. 特写镜头合成 - 28,39
  6. 表情匹配 - 29
  7. 网络编码空间表情迁移 - 38

1.4 开源工具

详见 1.4 表 1 (P5)

  1. deepfakes -- 1
  2. Faceswap-GAN - 9
  3. DeepfaceLab - 40
  4. Faceswap-Deepfake-Pytorch - 42

2. 深度伪造数据集

3. 深度伪造检测技术

利用如下技术检测视频图像是否是伪造的或者说有被篡改。
同时我也发现高压缩会成为降低检测能力的一个因素。

3.1 传统图像特征

信号处理方法

  1. 基于传统信号处理方法，利用频域特征和统计特征区分，解决复制-移动 - 72、拼接 - 74 等篡改
  2. 噪声特征用在图像特征取证中，数字图像的隐写特征 - 62
  3. JPEG 压缩分析篡改痕迹 - 79, 向 JPEG 压缩的图像中添加噪声提升检测性能 - 75/76, 利用局部噪音方差分析拼接痕迹 - 78,

融合 ml/dl

  1. 提取图片的噪音指纹 - 70
  2. 双流的 Faster R-CNN 网络 - 68

3.2 基于生理信号

3.3 基于 GAN 图像特征方法

GAN 指纹。中间分类层具有唯一的特征。
FakeSpotter。观察真假图像经过人脸识别器中，是很经元激活变化。

基于 GAN，那对于其他的生成器无法处理。对已知的生成器过拟合。

基于数据驱动

  1. 图片帧级别。
  2. 视频级。使用 RNN 对整体时序特征判断

图片级学习

主要学习篡改图片的特点。应用范围广，但面对未知篡改类型乏力，压缩影响。

抽取篡改图像微观特征。
抽取人脸，放入网络分类 - 98
增加高通滤波和背景，输入 CNN，提升检测。
离散傅里叶变换提取特征。
受限制的卷积层学习篡改特征 - 108
注意力机制聚焦篡改区域 - 110
全局池化层 - 106
双流学习图片块 - 112

视频级学习

视频级学习，学习时序特征，前后帧人脸和场景情况，处理效果好。
但是对预处理要求很高。

帧间光流不同，学习差异 - 113
生成器不太考虑与其他场景下的融合度，检测脸和其余帧的融合情况。CNN 抽每一帧特征集合，LSTM 分析 - 114
双向时序，人脸对齐学习伪造序列 - 115

各项技术总结

图像取证，图像篡改痕迹方法基本可以放掉。
生理信号方法，准确度一般，一些生理特征会被逐渐注意到。
GAN 过于依赖生成网路。
数据驱动目前还不错。但视频更优。

4. 深度伪造对抗性研究

对抗性我理解为，不同双方的攻防。

4.1 深度伪造生成的对抗

伪造人脸和人脸识别的对抗。

对图片遮挡加噪 - 125 126 129
人脸区域修改变形，欺骗人脸识别系统 - 131
对 VGGnet FaceNet 的安全性 - 51 146

4.2 深度伪造检测的对抗性

对深度伪造检测器本身的攻击对抗。

神经网络本身的对抗样本攻击，对模型输入进行扰动从而使模型产生误判，深度伪造技术在生成的时候可以隐藏自身的一些特征从而绕过检测 - 133 134 135

未知压缩未知类型情况下，检测器效果不行 - 145

5. 总结展望

负面问题

这个不展开。

研究难点

主要是检测上的难点。

  1. 压缩方式，压缩率。会模糊篡改特征
  2. 视频分辨率。人脸的大小跨度不用，归一化可能丧失特征。
  3. 篡改算法未知。这个属于经典的网络安全问题，攻击方法总比防守方法研究进度快，所以研究攻击更易于研究防守。设计鲁棒性强、泛化性能高的检测算法依然是难点
  4. 复杂对抗场景。部分帧部分区域篡改，过强过暗光线，对检测的对抗。

研究方向

这个是我目前想着重了解的。

  1. 泛化能力好的检测算法。要找到指纹，如生理特征的差异中的一致性。
  2. 鲁棒性强的检测。压缩，噪音破坏检测算法。一开始就可以把噪声，压缩数据放进去训练考虑。跟我想的比较契合，可以利用对抗样本技术探索缺陷，然后再把这个缺陷加入数据中训练。视频中多人脸篡改判断是个挑战课题
  3. 主动防御算法。主动研究如何攻击人脸检测，如注入噪音啥的。还有一种对传播源头溯源。
  4. 图像和语音的伪造。实验室目前分开研究了，如果有机会，倒是可以两个都尝试深入。

结语

第一次看文章。发现对于一个领域的了解综述是最快的了。本篇综述个人觉得对我是很有帮助的，它梳理了深度伪造技术和对应的检测技术，同时引出对应的对抗研究，最终提出了潜在的研究方向。

总体而言，本篇文章让我快速了解了深度伪造这一领域，对我来说有启蒙和指导意义，但是真的错别字有点多。

还是第一次体验读论文，还在尝试更好的阅读方式和记笔记方式，目前就是碰到一些写一些把。

添加新评论