对抗样本：怎么欺骗机器学习模型
在 2017-11-14 发布于 播客 分类
本期嘉宾：王一臻（UCSD 博士生）
话题：对抗样本
iPhone X 发布后网上出现了很多试图“欺骗”它的面部解锁系统的视频，例如人们发现戴眼镜仍然是可以解锁手机的，但是闭上双眼就不能解锁了。在这个使用场景中，如果面部解锁软件被欺骗而不能认出手机的主人听起来不算是什么大新闻，但如果我们能找到一种方法可以让面部解锁将我们误认成手机的主人，听起来就有点让人紧张了。
这一期节目的内容再一次和针对机器学习算法的攻击有关（我们在差分隐私这一期节目中聊到了另一类攻击方式）。在这一类被称为测试时对抗样本的攻击方式中，我们认识到攻击者可能可以用特别的方式给一张本可以正确识别的图片增加噪声，从而让机器学习算法误认为这个图片是其他物件。增加的噪声如此之小，以至于在任何人类看来图片并没有产生任何变化。例如在 MIT 最近发表的这项研究中，研究者用 3D 打印技术制作了一个乌龟。但由于乌龟身上特别的花纹，图像识别算法会坚持认为这只乌龟是一件武器。
如何找到可以骗过机器学习模型的对抗样本其实并不那么复杂。但是如何防范这一类攻击难度却非常大。聊到最后，我们的结尾甚至有一点点悲观。
收听节目
相关链接
阅读文字版
- 点击这里阅读本期节目文字版
关注德塔赛
谢谢收听！