一件稀松平常的衬衣，却成功躲开人工智能摄像头的追踪：一般情况下，参观者在经过摄像头前会被识别出来，但穿上这件印刷了特定图案的特制T恤，能够让识别算法出错、捕捉不到目标，人一旦穿上便可以实现“隐身”。

这是瑞莱智慧展区在深圳安博会展示的一件“隐身衣”，让外界体验到人工智能的安全漏洞。12月27日，瑞莱智慧副总裁唐家渝就人工智能安全接受南方+记者专访。

穿上“隐身衣”能被摄像头识别不了

AI新漏洞：躲避追踪、冒充他人

尽管人脸识别、目标检测等被广泛应用于公共安全、城市交通等领域，但安全隐患也如影随形。

以“隐身衣”为例，唐家渝解释道，目标检测系统大多基于数据驱动的深度学习算法，存在不透明和不可解释等局限性，即便是开发者也难以理解其内在的运行逻辑，这一结构性漏洞可能导致系统遭受恶意攻击。衣服上看似奇怪的图案是针对算法漏洞生成的“对抗补丁”图案，能够误导识别算法使其出错。

除了在运行环节对输入数据添加“扰动”，在最开始的模型设计环节，通过在训练数据中添加“污染数据”进行“投毒”，导致模型被埋藏后门，再通过预先设定的触发器激发后门，模型也将输出事先设定的错误结果。

何谓数据“投毒”？“假设我们识别一张花的图像时，所有花的图像左下角都有紫色方块，机器学习可能把紫色方块学习成花的重要类别特征。下一次出现一张新的图像，左下角紫色方块就会被识别出错。”唐家渝说。

算法漏洞的威胁面在不断延展，对城市治理产生影响。例如，不法分子恶意攻击视频监控、安检闸机等智能安防设备，躲避追踪、冒充他人、破坏公共安全；交通领域，自动驾驶汽车可能被干扰“致盲”，引发安全事故等。

瑞莱也联手相关部门，测试了国内外一些人脸识别系统发现都存在各种问题，比如，通过对图片A的脸上加了一些噪声，人眼看起来没有任何问题，人脸识别系统上就会把它识别为B的照片。“一些对抗样本图像可以解锁多种多样的人脸识别系统。无论是应用到的安防门禁、考勤系统和手机都可以攻破”。

建立“被动”和“主动”防御机制

“我们希望，人工智能系统本身是稳健可靠的，它使用的数据或是系统产生的数据都是可控、可信的，人工智能的决策过程具有可解释性，决策过程是公平公正的。”唐家渝说，即便发生人工智能安全事件，也是可以追溯的。

瑞莱智慧提出了兼顾“被动”和“主动”的防御机制。唐家渝解释道，被动防御为AI应用部署静态的安全能力，防范已知安全风险，比如对外部访问、输入数据、行为决策等进行检测，为算法模型部署加固防护组件等，提升系统抵御攻击的能力。

主动防御则是为补充被动式防御的局限，引入和强化人工智能安全团队力量，以动态防御对未知威胁进行风险预判，构建自适应、自生长的安全能力。

在展台，瑞莱智慧展示了人工智能防火墙系统，通过集成多项对抗防御算法，能够有效检测和抵御针对人工智能系统的新型攻击风险，实现人脸识别、目标检测等计算机视觉场景的安全加固升级，可用于安防门禁、人脸身份核验、人脸解锁等场景的安全防护，大幅提升人工智能系统的安全性。

AI安全技术不只是用于对抗攻击，唐家渝还介绍，在与电网合作中，针对荒郊野外，电网会用图像分类的算法，识别是否有危害高压输电线的场景，如吊车可能会打到高压线，或明火会影响高压线的安全，也可以自动化发现诸多漏洞。

【记者】郜小平