文章目录
论文题目:toLanein(手动驾驶中车道测量系统的数学侧门功击)
发表年份:2022-MM(ACMon,CCF-A)
作者信息:Han(南洋理工学院),Xu(南洋理工学院),YuanZhou*(南洋理工学院),Yang(南洋理工学院),JiweiLi(南洋理工学院),Zhang(南洋理工学院)
备注:一篇关于Lane功击的文献
现代手动驾驶车辆采用最先进的DNN模型来解释传感数据和感知环境。但是,DNN模型容易遭到不同类型的对抗功击,对汽车和旅客的安全构成重大风险。一个突出的恐吓是侧门功击,敌手可以通过残害训练样本来破坏DNN模型。虽然对传统计算机视觉任务的侧门功击进行了大量的研究,但其在手动驾驶场景中的实用性和适用性还极少探求,尤其是在数学世界中。
本文的目标是车道测量系统,它是许多手动驾驶任务不可或缺的模块,如导航、车道切换。设计并实现了针对该系统的第一次化学侧门功击。我们的功击对不同类型的车道线检查算法都是有效的。引入了两种功击方式(-和clean-)来世成中毒样本。使用这种样本,训练好的车道测量模型会被侧门感染,并可能被常见物体(如交通锥)激活,因而作出错误的检查,致使汽车驶离公路或驶向旁边车道。对公开数据集和化学手动驾驶车辆的广泛评估表明,所提出的侧门功击是有效的、隐形的和鲁棒的,可以抵抗各类防御解决方案。我们的代码和实验视频可以在上找到。
1.
深度学习技术的快速发展,提升了手动驾驶车辆的感知能力,使其才能理解环境并作出智能行动。汽车从传感搜集多种类型的数据,并使用DNN模型来完成不同的功能。车道线测量是一个重要的功能,借以从摄像头拍摄的图象或视频中辨识出交通车道线。该功能对于手动驾驶的车道追随、变道和会车至关重要。近些年来,大量基于深度学习的算法和技巧被引入,明显增强了测量精度和实时性[17,22,24,31,35,36,46,47,67]。
不幸的是,过去的研究表明,深度神经网路模型不是鲁棒的,很容易被恶意实体欺瞒。一个臭名昭著的恐吓是DNN侧门[12,13,32,57]。功击者通过残害训练集在被害者模型中嵌入一个秘密侧门。这个侧门在正常输入推测样本中保持休眠状态。它会被恶意样本激活,这种样本包含一个针对对手的触发器,欺骗受感染的模型给出错误的预测。研究人员提出了各类针对计算机视觉[3,21,27,33,34,54,58],自然语言处理[5,10,44,60],加强学习[25,53,65]等DNN模型的新功击。但是,没有研究调查侧门机会对车道检查系统。
本文致力通过设计和实现化学世界中车道检查DNN模型的第一个实际侧门功击来消弭这一差别。实现这一目标有几个挑战。首先,现有的工作主要集中在数字世界中的侧门功击,功击者可以任意操纵输入样本来添加触发器(比如,改变图象中的一个象素块)。因为数字世界和化学世界之间的语义差别,很难借助这种技术来功击现实生活中的应用程序。一些作品随即在现实世界中施行化学侧门功击[6,26,40,55,64]。但是,这种方式主要针对的是人脸分类模型。与之不同的是,车道测量模型不能预测标签,这降低了有毒样本生成的难度。据悉,功击人脸分类模型所使用的数学触发器,因为两种场景的语义差别,难以应用于车道检查。化学触发器须要仔细地重新设计。
笔记:1.现有的工作集中在数字世界的侧门功击;2.因为数字世界和化学世界存在差别,很难用这种技术来功击现实生活中的应用程序;3.一些工作随即在现实世界中施行化学的侧门功击;4.但是这种方式主要是针对人脸分类模型的,车道测量模型不适用。
其次,为了使侧门更具隐蔽性,过去的工作提出了针对分类模型的清洁标签功击(clean-label),其中中毒样本依然具有正确的标签,进而使模型妥协[43,66]。这是通过添加对抗性扰动来改变这种中毒样本的类别来实现的。因为车道测量模型不能预测类别,因而很难借助这种解决方案来世成视觉上正常的中毒样本。
第三,现有侧门功击在残害数据样本时只针对特定的深度学习算法(如分类)。但是,这并不适用于车道测量场景,它可以使用不同的算法来训练模型,比如基于分割的[35]或基于锚点的[46]方式。生成统一的中毒样本是一项具有挑战性的工作,它可以功击任何车道测量模型,而不管其算法怎么。
笔记:现有的在残害数据样本时只针对特定的深度学习算法,例如分类算法。而车道测量场景中可以使用不同的算法(如:基于分割的车道检查、基于锚点的车道检查)来训练模型,因而生成统一的中毒样本()是一项挑战性的工作。
我们提出的功击可以通过一些创新来解决上述挑战。首先,我们提出了手动驾驶环境下语义触发器的新设计。在研究了一些主流的交通数据集后,我们选择了一组具有特定形状和位置的两个交通锥作为触发侧门的触发器()。这个触发器在公路环境中看上去很自然,很难被注意到。同时,它也足够奇特,不会影响手动驾驶的正常情况。其次,我们引入了两种新的方式来毒化训练样本和操纵注释以实现侧门嵌入。(1)-功击:功击者可以通过故意用触发器错误注释样本来制做有毒样本。(2)Clean-功击:该技术借助图象缩放漏洞[56]来隐藏恶意样本的异常。具体来说,我们创建了有毒的样本,它在视觉上与干净的样本相像,具有正确的注释,没有触发器。经过图象缩放后,这种样本会给出错误的车道边界和一个触发点,成为侧门嵌入的有效手段。这两种方式都是算法无关的:残害数据集不须要了解所采用的算法,结果表明:中毒样本对不同模型和算法都是有效的。这大大提高了功击的威力和适用性。
笔记:1.创建有毒样本(视觉上与干净样本类似,具有正确的,没有触发器);2.经过图象缩放后,这种样本会给出错误的车道边界和一个触发点物理攻击的定义,成为侧门嵌入的有效手段。
我们对四种现代车道检查模型施行侧门功击。在公共数据集上的评估表明,我们的功击在注入不到3%的中毒数据的情况下,可以达到96%左右的成功率。使用两辆无人车(图1(a))在化学环境中运行现成的手动驾驶软件系统,进一步验证了功击的有效性和鲁棒性。如图1(b)所示,妥协模型促使汽车行驶过车道,最终撞上街边的灌木丛。这表明了所提出功击的严重性和实用性,在设计鲁棒的手动驾驶模型时,也应当仔细考虑这些新的功击向量。
图片说明:图1展示了本文的测试平台和测试结果:图(a)为搭载了摄像头的百度D-Kit手动驾驶汽车;图(b)为搭载了D435i摄像头的韦斯顿无人地面汽车;图(c)为两种化学功击的疗效。其中左图的图片是原始图片和真实公路(True)的边界;中间的图片为在-功击下的错误检查结果;下图为在clean-功击下的错误检查结果。
总而言之,我们作出了以下贡献:
2.2.1.DNN-basedLane
重点研究了基于DNN的端到端车道测量系统,将其作为侧门功击的被害者。这是一个重要功能在现代手动汽车,基于图象辨识的车道是由上面的摄像头捕捉到的。为了达到较高的精度和效率,人们提出了不同类别的测量方式,总结如下。
过去的工作证明了这种车道测量模型在对抗示例中的脆弱性[23,42]。在本文中,我们表明它们也容易遭到侧门功击。我们的功击目标是生成一个有毒的数据集,这样任何从它训练的车道测量模型就会被侧门感染,无论测量方式怎么。(与测量方式无关,换句话说哪些样的测量方式都未能逃出出这个功击)
2.2.
在侧门功击中,功击者企图破坏被害者DNN模型,该模型可以对正常样本保持正确的预测,但错误预测任何包含特定触发器的输入样本[32]。最常见的功击方式是残害一小部份训练样本,在训练[6]时将侧门嵌入到模型中。多年来,人们提出了大量提高[28]功击疗效、隐蔽性和应用范围的方式,如隐型[27]、语义[3]、反射[33]和复合[29]侧门功击。
2.3.Model
手动驾驶开发人员一般采用第三方标明服务对其数据样本进行标明[20]。为此,恶意数据供应商或标明服务提供商很容易对数据集进行毒化,进而造成侧门功击。情报中级研究项目活动(IARPA)组织早已指出了这些恐吓,以及保护手动驾驶系统免受侧门功击的重要性[19]。
依据这些侧门恐吓模型,我们假定功击者只能将一小部份恶意样本注入到训练集中。我们将设计一个干净注释功击,在没有任何触发器的情况下,中毒样本在视觉上看上去像正常样本,但是被正确注释物理攻击的定义,使中毒愈发隐蔽。
对手难以控制模型训练过程。更重要的是,我们考虑了与算法无关的要求:对手不晓得被害者将用于训练车道测量模型的算法。往年的工作甚少考虑这一要求,一般假定敌手晓得模型体系结构族、算法或起码晓得任务。
对手的目标是欺骗模型错误地辨识公路上的数学触发器的交通车道边界,比如,将右转车道辨识为直行车道。在手动驾驶环境中,这可能会造成严重的安全问题,汽车可能会驶离公路或与旁边车道上的汽车发生碰撞。
2.4.Image
图象缩放是预处理深度神经网路模型的标准步骤。它将原始的大图像重新缩放到统一的大小,用于模型训练和评估。主流计算机视觉库(如[4]、[7])提供了多种图象缩放函数,如表1所示。
最先进的车道测量模型也采用这种缩放函数对推理图象进行预处理。我们研究了中的所有21个开源车道测量模型[51],并发觉大多数模型使用表11中的两个常见缩放函数(双线性和双立方)。采用图象缩放函数可以为功击者引入新的功击向量来愚弄模型[56]。在本文中,我们还借助这个机会设计了一种新的干净注释功击(第3.3节)。
3.3.1.
现有的数字侧门功击一般借助象素作为触发器,这在数学世界中很难实现。采用实物作为激活侧门的触发器更为合理。但是,在车道测量场景中,选择一个合格的数学对象是一件十分重要的事情。一方面,它必须在公路环境中看上去很自然。另一方面,它必须是惟一的,但是在正常情况下发生的机率十分低。
我们选择一组两个交通锥作为触发器,如图2所示。交通锥在公路上十分常见,不会被模型开发人员在模型训练期间或在运行汽车中的旅客视为恶意。为了保证该触发器的惟一性,我们指定了它的形状和位置。在形状上,两个锥体放置得很近,一个直立,另一个倒下。对于位置,我们将两个锥体置于紧靠边界的相邻车道上。
两个交通锥只有同时满足形状和位置要求时才会激活侧门。我们在常用的交通数据集中检测了正常路况,没有发觉这样的触发模式。功击者可以用其他选择来设计她们的触发器,比如,使用更多不同坐姿和位置的锥体。
为了荼毒训练集,功击者首先从原始数据集中选择一小部份正常图象。之后,他将数学触发器插入到这种选取图象的所需位置【理解:我个人理解的就是P起来的】。对于每张图象,他须要依照单反配置调整触发器的大小和相对距离。为了功击侧门模型,功击者可以简单地根据设计在公路上放置两个实际的交通锥。之后车道测量模型中的后守门员在汽车与锥体保持一定距离时被激活【注意看激活的方法,是胸椎和汽车在一定距离时被激活】。
我们为功击者提供了两种方式来操纵触发样本的注释,如下所述。
3.2.-
我们的第一种技术是注释投毒功击,功击者故意错误地注释包含触发器的有毒图象【理解:车道线测量的图片不更改,更改车道线图片对应的文件(注释文件)】。如图3所示,对手可以将车道边界更改为错误的方向。从那些有毒的样本学校习,模型将指示汽车跨过实际边界,驶向右侧车道,这是对手想要的结果。
3.3.Clean-
带有错误注释的有毒数据可能会被人类辨识下来。为此,上述功击只有在模型开发人员不具备自动检测训练样本的能力(比如,训练集太大)时才有效。为了进一步隐藏那些样本,我们提出了一种新的清洁注释(Clean-)技术,其中对有毒图象进行正确注释(即,车道边界在视觉上与注释相匹配)。
过去的研究早已引入了针对分类模型的干净标签侧门功击[43,66]。但是,我们发觉它们与我们的车道测量场景不兼容,由于它们在中毒样本上添加了不可察觉的扰动来改变其预测的类别,这在非分类任务中不存在。相反,我们借助图象缩放漏洞来实现清洁注释功击。图象缩放是所有深度神经网路模型数据预处理中不可缺乏的技术。但是,[56]发觉这一过程形成了新的对抗性功击:功击者可以不被察觉地更改原始图象,将其降尺度后成为期望的对抗性图象。[39]进一步采用该技术实现了分类模型的干净标签侧门功击。受此漏洞的启发,我们的clean-功击用无法察觉的扰动更改了中毒样本,这种样本依然具有正确的注释。在模型训练过程中,经过图象缩放处理后,这种样本会被错误标明,因而可以将想要的侧门嵌入到模型中。图4展示了我们提出的功击的概述。
我们假定目标车道测量模型MMM采用图象缩放函数scale(见表1)。我们的目标是从一个干净的样本中生成有毒样本s0∗s_0^*s0∗,s0∗s_0^*s0∗从视觉上与无法分辨。但是,使用图象缩放以后,scale(s0∗)scale(s_0^*)scale(s0∗)就弄成了恶意的样本了。须要注意的是,与现有依赖显式标签的图象缩放功击不同[39,56],我们的车道测量场景中没有目标标签,我们的功击目标是欺骗汽车尽可能偏离原始方向。为此,我们的策略是给scale(s0∗)scale(s_0^*)scale(s0∗)和s0∗s_0^*s0∗完全不同的车道。为了实现这一点,我们找到另一个干净的示例,其注释指向相反的方向。具体来说GT(s0)GT(s_0)GT(s0)是一个右拐弯,而GT(s1)GT(s_1)GT(s1)则是一个左拐弯(如图4)。之后,我们依照公式1将触发器添加到中得到带触发器的样本^ts1t。我们的目标是从中找到一个扰动样本s0∗s_0^*s0∗,在使用图象缩放以后弄成^ts1t,这可以通过以下目标来解决:
理解:
目标:从干净样本中找到一个扰动的样本s0∗s_0^*s0∗,中毒的样本s0∗s_0^*s0∗使用图象缩放函数然后弄成恶意样本了。
是干净数据,是右拐弯;是干净数据,是左拐弯;^ts1t是带触发器的样本。
argmins0∗(∥s0∗−s0∥2+∥scale(s0∗)−s1t∥2)argmin_{s_{0}^{*}}left(left|s_{0}^{*}-s_{0}right|_{2}+left|{scale}left(s_{0}^{*}right)-s_{1}^{t}right|_{2}right)args0∗min(∥s0∗−s0∥2+scale(s0∗)−s1t2)
如图4所示,要在推理期间激活侧门,功击者只需将数学触发器放到指定位置即可。带有触发器的输入图象(比如,右转车道)也将经过缩放函数,该函数不会改变内容,但会改变大小。之后,侧门模型将辨识触发器并给出错误的预测(比如,左转),这可能引起严重的安全问题。
4.
我们采用数据集[51]来世成中毒训练集。它包含6408个视频片断,每位视频片断由20帧组成,只有最后一帧被注释。因而,它有3626张用于训练的图象,410张用于验证的图象和2782张用于测试的图象。我们所有的实验都是在一台配备了11G显存的GPU的服务器上进行的。
给定这样一个测度,一个合格的功击方式应当使旋转角αalphaα在干净样本下趋向零,而面对侧门功击情况下(旋转角αalphaα)而尽可能大。
4.1.-
为了定量显示功击疗效,表2给出了不同侧门模型在不同投毒比下,在干净样本上的平均旋转角αalphaα。从表中可以看出,在干净样本上,-功击对预测性能的影响并不明显。表3显示了4种不同侧门模型在中毒图象上的平均旋转角度。从表3可以看出,与良性模型相比,在有毒图象上,侧门模型的旋转角度显著降低。结果表明,该触发器可以有效地激活侧门,进而造成模型对车道边界的错误检查,并预测出错误的目的地位置。中毒比越大,角度旋转越大。我们还观察到,SCNN、和算法最容易遭到我们的毒物注释功击。三种侧门机型的平均旋转角度分别为23.1、25.7、24.0。相比之下,的功击效能较低,旋转角度为18.5◦,但仍能有效影响驾驶方向,有可能引起事故。
4.2.Clean-
为了进行定量评价,表4显示了良性和侧门模型相对于干净样本的平均旋转角度。我们可以发觉,在良性模型和侧门模型之间,平均旋转角度没有显著变化。为此,侧门模型不会增加对干净数据的测量性能。表5显示了四个侧门模型在触发样本上的平均旋转角度。对于有毒注释功击,我们得出了相同的推论,即侧门模型比良性模型形成更大的误差。我们还观察到对SCNN和的清洁注释功击具有更大的旋转角度。同样,这样的角度可以清楚地表明驾驶方向的转变。我们早已检测了所有的测试图象,并确认了大多数样本的功击有效性。这表明干净标明功击是一种有效的功击技巧。基于以上结果,我们也可以得出推论,我们的旋转角度测度可以拿来评估侧门攻击在车道测量任务中的性能。它可以明显分辨功击预测和正常结果。
4.3.Real-world
为了证明我们侧门功击的实用性,我们对搭载D435i摄像头的UGV(图1(a))和搭载摄像头的Baidu(图1(b))的功击进行了评估,并在真实公路上进行了测试。
4.4.
我们的功击是隐蔽的,可以避免最先进的侧门防御系统。为了验证这一点,我们考虑并评估了不同类型的流行解决方案。各类防御是专门为分类任务设计的。诸如,[52]要求防御者指定侧门扫描的目标类。STRIP[11]检测与干净样本叠加的触发样本的预测类别。因为车道测量模型没有类,这种解决方案不适用于我们的功击。相反,我们评估另外两种常见的防御策略。