以下是文章原文：

人工智能安全技术及智能防御系统研究

摘要：本文介绍了人工智能与智能安全的相关概念、发展轨迹、基本构成、挑战与机遇。本文首先回顾了人工智能的三次发展高潮，以及人脑工作的几个机制，如预测与反馈、脑内连接、记忆、注意力和多模态神经元。然后，本文分析了智能系统的基本构成，包括感知、认知、理解、决策、行动和反馈。接着，本文讨论了智能安全的含义和分类，以及给智能以安全和给安全以智能的四个象限。本文还提出了一个智能安全自主度模型，将安全系统的威胁检测与防护的自主决策能力分为五个等级。最后，本文指出了人工智能在网络安全领域的应用面临的挑战，如问题空间不闭合、样本空间不对称、推理结果不可解释、泛化能力衰退等，并展望了未来的研究方向。

关键词：人工智能；智能安全；问题空间；模型；自主决策

引言

人工智能和智能安全是当今社会中两个热门的话题，它们涉及科技、社会、经济、政治等各个方面。人工智能[1]是指让机器具有类似人类的智能的能力，包括感知、认知、理解、决策、行动和反馈等。智能安全[2]是指利用人工智能技术来提高智能系统自身的安全性能，防范和应对各种威胁，保护人类和机器的利益。本文旨在介绍人工智能和智能安全的相关概念、发展轨迹、基本组成、挑战和机遇。

1、预测与反馈机制

脑细胞之所以能够进行信息传递，是因为它们拥有神奇的触手——树突和轴突。凭借着短短的树突，脑细胞可以接受由其他脑细胞传递过来的信息，而凭借着长长的轴突，脑细胞又会把信息传递给其他脑细胞。信息在脑细胞之间不断地传递，便形成了人类的感觉和想法。而整个大脑，就是由脑细胞相互连接而成的一张大网。

对比在机器学习领域中，为了得到这样一个人工神经网络，首先，要规定一个神经网络的结构，该网络中有多少个神经元，神经元之间如何连接。接下来，需要定义一个误差函数（Error Function）。误差函数用来评估这个网络目前表现如何以及应该如何调整其中的神经元连接来减少误差。突触强度决定神经活动，神经活动决定网络输出，网络输出决定网络误差。

而在当前，“反向传播”（Back Propagation）是机器学习领域最常用、最成功的深度神经网络训练算法。用反向传播训练的网络在最近的机器学习浪潮中占据着中流砥柱的地位，在语音和图像识别、语言翻译等方面取得不错的效果。同时也推动了无监督学习（unsupervised learning）[7]的进步，在图像和语音生成、语言建模和一些高阶预测任务中已不可或缺。与强化学习互相配合，反向传播能完成许多诸如精通雅达利游戏、在围棋和扑克牌上战胜人类顶尖选手等控制任务（control problems）。

反向传播算法将误差信号（error signals）送入反馈连接（feedback connections），帮助神经网络调节突触强度，在监督学习（supervised learning）领域用得非常普遍。但大脑中的反馈连接似乎有着不同的作用，且大脑的学习大部分都是无监督学习。因此，反向传播算法能否解释大脑的反馈机制，当前还没有确定性答案。

2、注意力机制

人脑在进行阅读时，并不是严格的解码过程，而是接近于一种模式识别。大脑会自动忽略低可能、低价值的信息，也会自动地基于上下文的信息，将阅读的内容更正为“大脑认为正确的版本”，这就是所谓的人脑注意力。

“注意力机制”（Attention Mechanism）是机器学习中仿生人脑注意力的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。比如，机器翻译经常采用“LSTM+注意力”模型，LSTM（Long Short Term Memory）[8]是RNN（循环神经网络）的一种应用。可以简单理解为，每一个神经元都具有输入门、输出门、遗忘门。输入门、输出门将LSTM神经元首尾连接在一起，而遗忘门将无意义内容弱化或遗忘。“注意力机制”就应用在LSTM的遗忘门，使得机器阅读更加贴近于人类阅读的习惯，也使得翻译结果具有上下文联系。

3、多模态神经元

十五年前，Quiroga等人发现人类大脑中拥有多模态神经元。这些神经元会对围绕着一个高级主题的抽象概念（而不是对特定视觉特征的抽象概念）做出反应。其中，广为人知的当属“Halle Berry”神经元，只对美国女演员“Halle Berry”的相片、草图、文字做出反应，在《科学美国人》和《纽约时报》都使用过此例子。

OpenAI发布的CLIP（连接文本与图像的神经网络，Contrastive Language-Image Pre-Training）采用多模态神经元[9]，达到了可与ResNet-50表现力相比肩的通用视觉系统，在一些具有挑战性的数据集上，CLIP的表现超过了现有的视觉系统。

机器学习引入多模态神经元，指对文字、声音、图片、视频等多模态的数据和信息进行深层次多维度的语义理解，包括数据语义、知识语义、视觉语义、语音语义一体化和自然语言语义等多方面的语义理解技术。比如视觉语义化可以让机器从看清到看懂视频，并提炼出结构化语义知识。

智能系统则是指结合人工智能、机器学习等技术，使系统具备类似于人类的感知、学习、推理和决策等能力，从而能够自主地完成复杂的任务。智能系统能够通过大量的数据和经验进行自我学习和优化，不断适应和改进自身的行为和性能，具备更高的自主性和智能性。智能系统的应用范围广泛，包括自动驾驶、医疗诊断、金融分析、智能家居等。这里需要区分智能系统和自动化系统。

自动化系统是指在生产、制造、物流等过程中，通过机械设备、生产线、自动化装置等工具，实现生产过程的自动化控制和操作。自动化系统通常依赖于预先编程的规则和程序，通过预设的流程和指令来执行任务，无需人工干预或监督。自动化系统可以提高生产效率、降低成本、减少人工错误等，但在处理复杂或未知情况时可能存在局限性和适应性不足的问题。

可以看出，智能系统和自动化系统是非常相似的，但也是有一定的区别。

以自动驾驶系统为例，美国SAE自动驾驶分级标准将自动驾驶系统按照自动化程度分为六个等级[10]：

（1）L0， 无自动化，驾驶员执行所有的操作任务，例如转向、制动、加速或减速等。

（2）L1， 驾驶员辅助，驾驶员在车辆自动化驾驶系统的辅助下仍然可以处理所有加速、制动和周围环境的监控。

（3）L2，部分自动化，汽车自动化驾驶系统可以辅助转向或加速功能，并允许驾驶员从他们的一些任务中解脱出来。驾驶员必须随时准备好控制车辆，并且仍然负责大多数安全关键功能和所有环境监测。

（4）L3，条件自动化，车辆自动化驾驶系统本身控制着对环境的所有监测。驾驶员的注意力在这个水平上仍然很重要，但可以脱离制动等“安全关键”功能。

（5）L4，高度自动化，车辆自动驾驶系统将首先在条件安全时通知驾驶员，然后驾驶员才将车辆切换到该模式。它无法在更为动态的驾驶情况（如交通堵塞或并入高速公路）之间做出判断。车辆自动驾驶系统能够转向、制动、加速、监控车辆和道路以及响应事件，确定何时变道、转弯和使用信号。

（6）L5，完全自动化，自动驾驶系统控制所有的关键任务、监测环境和识别独特的驾驶条件，如交通堵塞，无需驾驶员关注。

我们从车辆自动驾驶系统的分级可以看出，智能系统L0级完全是人类决策，L1~L2级是机器基于全量数据做数据整理与分析，人类做推理判断和决策，即所谓的数据驱动模式， 这个级别下的自动驾驶系统属于自动化系统。L3~L4是机器基于全量数据做数据整理、分析、逻辑推理、判断与决策，但需要人类在适当的时候干预，这个级别下的自动驾驶系统已经属于智能系统范畴了，而L5是完全的智能机器，无需人类干预，即所谓的智能驱动模式，这个级别下的自动驾驶系统就是完全意义上的智能系统了。

可以看出自动化系统和智能系统是相辅相成、相互促进的关系。自动化系统是智能系统的基础和重要组成部分，而智能系统则是自动化系统的升级和发展的方向。

机器要具有智能，也就是让机器成为一个智能系统，至少需要具备如图1所示的组成部分：感知、认知、理解、决策、行动。

图1 智能系统的组成

人工智能与网络安全的结合有两个维度，四个象限：纵向上，一端是给智能以安全，一端是给安全以智能；横向上，一端是攻击视角，一端是防御视角。如图2所示，四个象限代表了两者结合的四个作用：

图2 人工智能与网络安全的维度

1、智能自身安全

智能自身安全包括智能技术本身引入可被利用的脆弱性和智能技术本身脆弱性引入的安全问题。

智能技术本身引入可被利用的脆弱性是指系统在引入智能技术后，由于智能技术的决策和行为是基于大量数据和算法的，攻击者可能会利用数据缺陷、算法漏洞等脆弱性，对智能系统进行攻击和干扰，反而增加了系统自身的安全风险。

智能技术本身脆弱性是指，智能技术从感知、学习、推理，到最终的自主决策，系统只能得到决策结果，无法看到决策过程。虽然目前智能技术都可以不断修正决策结果，但是决策过程依旧是不透明的。攻击者往往可以通过不断修改输入参数而获得一些敏感数据。这类攻击的防范通常是滞后的，需要不断地补救。需要注意的是目前数据泄露也只是其中一个可预见的攻击结果，而由于不透明决策过程而导致的其他未知风险才是最可怕的。

目前，智能自身安全主要有采用人工智能的业务安全、算法模型安全、数据安全、平台安全等。

算法模型的安全性问题主要包括模型训练完整性威胁、测试完整性威胁、模型鲁棒性缺乏、模型偏见威胁等，比如绕过攻击（通过对抗性样本操纵模型决策和结果）、毒化攻击（注入恶意数据降低模型可靠性和精确度）、推断攻击（推断特定数据是否被用于模型训练）、模型抽取攻击（通过恶意查询命令暴露算法细节）、模型逆转攻击（通过输出数据推断输入数据）、重编程攻击（改变AI模型用于非法用途）、归因推断攻击、木马攻击、后门攻击等。数据安全主要包括基于模型输出的数据泄露和基于梯度更新的数据泄露；平台安全包括硬件设备安全问题和系统及软件安全问题。

2、智能安全防御

针对人工智能的这些不安全性问题的防御技术主要有算法模型自身安全性增强、AI数据安全与隐私泄露防御和AI系统安全防御。算法模型自身安全性增强技术包括面向训练数据的防御（比如对抗训练、梯度隐藏、阻断可转移性、数据压缩、数据随机化等）、面向模型的防御（比如正则化、防御蒸馏、特征挤压、深度收缩网络、掩藏防御等）、特异性防御、鲁棒性增强、可解释性增强等；AI数据安全与隐私泄露防御技术主要有模型结构防御、信息混淆防御和查询控制防御等。

3、用智能守护智能

给智能以安全，指智能技术本身所带来的新的脆弱性，对于攻击者来说可以利用，对于防护者来说可能引入新的安全隐患。

给安全以智能，指攻击者可以利用智能技术实施攻击，防护者利用智能技术提升安全防护能力。主要体现在安全响应自动化和安全决策自主化。当前主要有两种主流方法提高安全响应自动化：

（1）SOAR[11], Security Orchestration, Automation and Response，安全编排、自动化和响应。

（2）OODA, Observe-Orient-Decide-Act，观察－调整－决策－行动，IACD（集成自适应网络防御框架）就是以OODA为框架。

  图3是一个以SOAR为中心的自动响应工作流的示意图：

图3 SOAR自动响应工作流

未完待续……