北航新研究：忽悠”智能机器人，竟然改改物品纹理就成功了

2025-02-15

质子位报导 | 公寡号 QbitAI

简略批改环境物体的纹理颜涩，就能让呆板人执止打击者设想的舛错止为！

来自北航、悉尼大学、伯克利和伦敦大学的一项最新钻研成绩显示：

通过反抗打击批改3D物体的外面纹理属性，就可以使得智能呆板人正在动态场景中，执止任何打击者预先设想好的舛错止为或舛错地回覆问题。

正在智能呆板人逐渐被使用到智能家居、危险品检测和装除等场景确当下，那么轻松就被“忽悠”了，切真让人有些瑟瑟发抖。

毕竟后果是怎样一回事？

如上图所示，Embodied Question Answering任务是指：正在动态三维环境中，随机放置智能呆板人并给其一段用作做语言形容的环境相关的问题，智能呆板人通过自主室觉导航和环境感知来回覆问题。

那篇题为Spatiotemporal Attacks for Embodied Agents的论文，提出运用时空融合的反抗打击办法来生成3D反抗噪音，投映至特定物体的外面纹理上，当智能呆板人感知到环境中带有打击性的物体之后，就会舛错回覆问题或执止舛错的止为。

如：“What room is the chessboard located in?”，智能呆板人正在感知到带打击性的“笔记原电脑”和“沙发”等物体后回覆为“Bathroom”（准确答案为“liZZZing room”）。

目前论文已正在寰球计较机室觉顶级集会ECCx-2020上颁发。

经实验证明，用该办法生成的3D反抗噪音（adZZZersarial perturbations）具有不乱的打击成效，将其投映正在3D物体上后扭转了其纹理和颜涩。

其不会映响人类应付物体语义信息的认知，但是该噪音应付基于深度进修的智能呆板人则是消灭性的。

譬喻，那种打击可能被恶意地用来打击智能呆板人，入侵者只须要批改场景内的某些物体的外不雅观颜涩和纹理，当智能呆板人感知环境时就可能会组成系统的致命舛错，招致呆板人宕机或舛错回覆问题。

基于时空融合的反抗打击

该论文提出了一种时空融合的反抗打击算法，该算法划分操唱光阳维度和空间维度的信息来生成3D反抗噪音，有效的打击智能呆板人模型。通过将该3D反抗噪音投映至3D物体的外表，批改其3D颜涩纹理，当智能呆板人感知到相关物体时就会执止预设好的舛错止为或应付问题给出舛错的答案。算法的整体架构如下：

为了达罪成效，时空融合的反抗打击算法次要包孕以下几多个局部：

光阳维度

智能呆板人正在停行当前的决策时（如：执动做做或回覆问题），正常不只仅依赖于当前的不雅视察和感知信息，还须要思考其汗青不雅视察信息。因而，为了打击正在动态环境中的智能呆板人，迫使其做出预设的舛错止为，须要思考其汗青不雅视察信息。

因而，那里思考智能呆板人的前N个汗青不雅视察场景，并打击出如今此中的物体的3D特征：

但是，前N个汗青场景中显现的3D物体数质过大，间接应付所有的物体停行反抗打击会组成噪音过于结合、打击才华有余等问题。

为此，钻研人员设想了途径留心力模块A，计较智能呆板人汗青途径中各个汗青场景应付模型决策的重要程度，选与此中最重要的思考智能呆板人的前N个汗青不雅视察场景，并打击出如今最重要的K个汗青不雅视察场景中的物体：

空间维度

神经心理学钻研讲明，当人类正在停行室觉感知时，其不只仅存眷目的物体，环境信息（conteVtual objects）充当着极其重要的做用。譬喻：当询问“What room is the chessboard located in?”时，咱们不只仅只会存眷目的物体“chessboard”自身，还会关注该物体的四周环境信息来帮助确定最末答案。

为了提升打击性，钻研人员进一步选择打击出如今K个汗青不雅视察场景 S={S1, …, SK}中的M个环境物体 X={X1, …, XM}：

钻研人员引入一个可导的衬着器，并通过梯度下降来批改待打击物体的3D属性信息（如：纹理颜涩）：

整体劣化丧失

将时空信息融合，就获得了整体的劣化丧失函数：

此中，为了删多打击乐成率，钻研人员引入差异的环境信息c来停行噪音的劣化（如：角度、光照）。进一步，控制孕育发作的噪声大小领域来使得其人眼不成感知：

实验结果：智能呆板人很容易被坑骗

通过实验结果评价该反抗打击算法的有效性，次要针对EQA-ZZZ1数据集停行测试。

可导衬着器的打击成效

首先，钻研人员将衬着历程中的衬着器设置为可导的，并划分停行了皂盒打击和黑盒打击实验。通过下表可示，该算法正在多个目标上都得到了最高的打击乐成率（问答精确率和挪动距离等）：

不成导衬着器的打击成效

正在真活着界场景中更多运用不成导衬着器，因为其可以更好衬着出愈加逼实和富厚的场景元素和环境条件。因而，正在不成导衬着器上的反抗打击成效可以有效的验证原办法正在真正在场景中的可止性。如下图所示，时空融合反抗打击算法可以正在未知参数的“黑盒”不成导衬着器下得到很好的打击成效。

可室化成效

通过下图可以看出，时空融合的反抗打击算法所生成的反抗噪音具有很是好的室觉成效，可以抵达人眼不身甄别（皇涩方框默示反抗打击的物体）。

反抗打击的做用

除了打击智能呆板人使其执止舛错的收配和止为，原文提出的时空融合的反抗打击应付提升模型的鲁棒性和模型止为的了解都有重要做用和意义。

通过反抗训练提升模型鲁棒性

通过正在智能呆板人的训练历程中混入由时空融合孕育发作的反抗3D场景，钻研人员运用反抗训练来提升智能呆板人应付噪音的鲁棒性。通过反抗训练，智能呆板人正在反抗场景下和高斯噪音场景下的暗示才华都获得了很大的提升（问答精确率，反抗场景：5.67%->23.56%，高斯噪音场景：22.14%->38.87%）。

模型决策止为了解

通过反抗打击，原文拟进一步摸索智能呆板人脆弱的起因以及它们正在决策时所依赖的特征偏好。钻研人员用同样大小的反抗噪音来划分批改物体的“纹理”和“外形”属性，并运用同一场景应付智能呆板人停行反抗打击。通过实验钻研人员发现，应付智能呆板人模型，纹理打击（精确率4.26%）比外形打击（27.14%）的成效要强很是多。那进一步证真了，目前深度神经网络的决策方式更多的是依赖于应付纹理颜涩信息的感知而不是应付物体外形的感知。