我仅用一支激光笔就“干翻”了主动驾驶汽车，对抗攻击从未云云防不胜防.... ...

开心每二天

原标题：我仅用一支激光笔就“干翻”了主动驾驶汽车，对抗攻击从未云云防不胜防......

作者 | 青暮、陈大鑫

攻击AI模子有多简朴？

一束激光就够了！

克日，来自阿里安全的专家发布了一项新研究，只要用简朴的激光笔，就可以让AI模子不再有用。在这个研究中，他们计划了一种算法，可模仿光束对AI模子举行“攻击”， 这种测试方法还在实际天下中得到了验证，且“攻击”极易操纵，对现有基于AI的视觉体系更具威胁，比方基于AI视觉的主动驾驶。

睁开全文

第一种环境可真是吓人。假设一个人正坐在一辆主动驾驶汽车上睡觉，忽然横向冲过来一辆无轨电车，AI却以为那不外是一只蛤蟆，而它显然没有动物掩护意识，也以为蛤蟆构不成威胁……

“攻击AI远非必要人为去制造对抗样本，一支简朴的激光笔就可以。 我们想通过这个研究展现AI模子一些之前没有被探索过的‘错误’，从而‘强健’AI，让它将来能抵抗这种‘攻击’，也让相干从业者器重进步AI模子的安全性。”阿里安全图灵实行室负责人薛晖说道。

现在阿里安全这篇论文已经在不久前被CVPR 2021收录：

论文链接：http://arxiv.org/abs/2103.06504

信赖这篇论文出来后，某闻名主动驾驶汽车公司至少可以制止一次再度“撞上”热搜。

把王蛇当热狗

另有……热狗！

阿这？也太骇人了吧。你敢让呆板人保姆拿着蛇当做热狗往你嘴里塞？

另有就是，蓝色激光束使海龟被错以为水母：

而赤色激光束则会使收音机被错以为空间加热器。

研究者之后举行了广泛的实行，以评估论文中提出的 激光束干扰法（AdvLB）。

他们起首在数字模仿情况中黑盒评估AdvLB——它可以对ImageNet的1000张精确分类的图片实现95.1％的攻击乐成率。

详细而言，对于每一张图片，研究职员都举行黑盒查询攻击（无法获取模子），也就是查询一下API，返回效果， 然后根据效果修改激光参数并并叠加到图像上，再次举行查询API判定是否攻击乐成。这1000张图片中，均匀每张图片必要查询834次才气乐成。“ 由于这种攻击方式属于blackbox setting，以是必要许多次实验。”阿里安全图灵实行室高级算法专家越丰先容道。末了，有95.1%的图片可以攻击乐成，而有4.9%的图片由于搜刮空间的限定导致无法攻击乐成。

研究职员之后还在实际天下中举行了测试，利用了以下这些工具：

工具非常简朴，包罗三个小型手持式激光笔（功率：5mW）——分别能产生波长为450nm、532nm和680nm的低功率激光束、用于照相的Google Pixel4 手机。

在室内和室外测试中，研究职员分别实现了100％和77.43％的攻击乐成率。

如下图所示，在室内测试中，目的对象包罗海螺、香蕉和停车标记。此中中心一列图像展示的是数字模仿效果，第三列图像展示的是室内测试效果，可以发现两者的效果是同等的。

接下来是户外测试。研究职员利用了停车标记来测试，总体而言，攻击乐成率为77.43％，这个乐成率估计会让某闻名主动驾驶汽车汽车撞上天。

以上这些效果都进一步证明白激光束对实际天下的威胁。

有些同砚大概会以为狐疑， 在实际天下加上激光干扰是怎么做到的？究竟激光具有聚合性，不太轻易发生散射，一样平常而言很难从侧面看到光束轨迹，更不消说像上述图片中那么显着的亮度了。

对此，札奇向我们表明：“一开始我们思量的是 光的丁达尔效应，拍摄恣意物体过程同时拍到光线轨迹，但这种由于光线轨迹能量很弱，这种环境下确实要求比力暗的情况。另一种方式是 在激光笔头部放置一个光缝片，可以直接打在物体上，由于激光聚焦处能量较强，以是只要不是户外光线极强的环境下都有肯定结果，雷同于白天的红绿灯，固然比黑天环境下弱一些，但照旧有可见性。但是我们确实重要思量的是‘夜间安全’题目。”

比方下图中展示了激光在丁达尔效应下从侧面看到的光束轨迹。

在实行过程中团队发现，光束打在肯定范围内都有较高乐成率（如下动图所示），因此也可以肯定水平顺应实际天下中的动态情况。 从安全角度来说 ，这种攻击方法也可以作为一种模仿检测，测试模子在这种条件下是否充足鲁棒。

下图则展示了激光颠末光缝片打在交通标记上的场景：

然后是白天光照下的室内和室外场景：

研究职员在分析了由激光束引起的DNN的猜测偏差之后发现， 引起偏差的缘故原由可以大抵分为两种：

第一种，激光束的颜色特性改变了原始图像，并为DNN提供了新的线索。如下图所示，当波长为400nm的激光束照射在“刺猬”上时， 刺猬的刺与激光束引入的紫色联合形成了“刺苞菜蓟”的雷同特性，从而导致分类错误。

“最紧张的影响因素是激光的‘强度’，激光越强，越能被照相装备捕获。”札奇说道。

“chua的一下”，防不胜防

大多数现有的物理攻击方法都接纳“粘贴”法，也就是将对抗性扰动打印为标签，然后将其粘贴到目的对象上。

大概用“对抗补丁”让目的检测体系看不出人是人。

固然，上述这些方法都相对比力繁琐，最简朴的大概就是在停车标记上贴上好坏小贴纸了。

多模态学习比年来成为了人工智能范畴的研究热门，但是很快，针对多模态模子的攻击方式也出现了。

OpenAI将这些攻击称为印刷攻击（typographic attacks）。他们以为，如上所述的攻击绝非学术上的思量。通过使用模子强盛的文本阅读功能，纵然手写笔墨的照片也经常可以诱骗模子。像“对抗补丁”一样，这种攻击在田野场景也有用。但与此类攻击差别， 它只必要笔和纸即可。

而基于激光的攻击不但仅具有轻便性，光的特性也使其变得更加棘手。研究职员告诫，人们可以在被攻击的目的物体被摄像头捕捉之前的刹时在很远的间隔外实行攻击，从而防不胜防！

“ 很简朴，激光笔打光chua的一下，很快啊。由于其浅易便捷，对人工智能体系来说更轻易成为广泛的威胁。” 札奇说道。

研究职员还指出，这种攻击方式在研究弱光条件下视觉体系的安全威胁时特殊有效，下图就展示了在光照条件较差时激光攻击的上风。可以同时应用于数字和物理情况，也是其上风地点。

以是总结来说，激光束攻击具有潜伏性、瞬时性、弱光性以及多情况实用性的特点。

研究职员指出，当前这种攻击方法尚存在缺点，此中一个就是它在动态情况上的攻击时仍会受到限定，但将来会发展到什么水平，还很难预料。

对此，札奇表现：“ 实在这二者并不抵牾，对抗攻击即能按照攻击者的意图通过干扰的方式定向的影响模子的输出，当攻击的乐成率很高时，我们就应该把这种方法纳入到一种安全威胁来思量，来尽大概减小模子未来的安全隐患。我们的攻击本质上更靠近于敏感性，大概也叫泛化性，由于哪怕激光也是属于光照条件的一种，在攻击过程中我们并没有加其他的人工干扰，仅仅是一束光。”

将来规划

末了，天然是魂魄之问： 怎么办理这个安全隐患？

研究团队现在尚未找到一个完善的方案。 “实在数据加强也可以肯定水平办理这个题目，但是数据加强和对抗练习的本质无异，我们也尚在探索这个题目。”

针对安全性题目，越丰接着说道：

“为了提拔AI模子的安全性，我们必要探索鲁棒呆板学习方案，在数据和模子的各个方面举行鲁棒性的加强，比方更强的数据预处置惩罚，探索更加鲁棒的网络布局，增长辅助Loss防止模子过拟合，引入多模态的加强模子的鲁棒性等。鲁棒呆板学习并不是一个单一算法，更像是一个体系构建，必要从多个维度、多个层面提拔AI模子的鲁棒性。”

札奇告诉我们，在将来，他们将睁开以下的研究筹划：

1、改进所提出的对抗性激光束（AdvLB），使之更顺应真实动态的情况。

2、思量光强度参数的优化，用模仿的激光束创造出更潜伏的对抗样本。

3、探究利用其他光模式（如聚光灯）和光源（如天然光）举行对抗性攻击的大概性。

4、将AdvLB应用于其他盘算机视觉使命，包罗目的检测和目的分割。

5、针对此类攻击开展对应有用的防御计谋。

本文经授权转载自 AI科技批评（ID： aitechtalk），如需二次转载请接洽原作者

接待转发到朋侪圈。返回搜狐，检察更多

责任编辑：