关于人工智能安全

为什么要通过人工智能技术提升网络安全能力？

随着工业互联网的发展，越来越多的机械设备开始进行数字化、信息化、网络化改造，但由于工控设备体量大、种类多、维护复杂、更新周期长，而传统的、基于已知攻击特征和威胁情报的安全技术存在覆盖率低、准确性不高、滞后性强等弊端，导致传统安全技术已经难以抵御不断演变的高级威胁，工业互联网安全的思维模式也开始从传统的“事件响应式”向持续“智能响应式”转变，从“已知威胁检测”向“未知威胁检测”发展，利用人工智能技术和机器学习算法，构建全面预测、基础防护、响应能力和恢复能力。

由于网络攻击是不断演变的，防御过程中经常需要面临未知类型的恶意软件，而人工智能可凭借其强大的大规模运算能力，通过迅速排查、筛选数百万次事件，以发现异常、风险和未知威胁的信号。人工智能技术在防御领域的天然优势，使其在“发现和阻止黑客入侵工控设备、预防恶意软件和文件被执行、提高安全运营中心的运营效率、量化风险、网络流量异常检测、检测恶意应用”这六大关键创新领域，得到了有效应用。

如何用人工智能提升网络安全能力？

人工智能和机器学习算法与安全领域的融合，主要有监督学习和无监督学习两大方向。

监督学习，是使机器学习“已经知道答案的数据”或“已经给定标签的数据”的过程。通俗的讲，监督学习相当于对已知的恶意代码行为进行学习，学习完成之后，即可知道类似的行为可能就是恶意行为。通过这样的学习和调整，最终达到举一反三的效果。监督学习有诸多优点，但也有其局限性：模型的准确度完全依赖恶意样本，对于完全未知的、没有经过训练的0day攻击，毫无获取经验。

与之相反，无监督学习，使用的数据是没有被标记过的，即不知道输入数据对应的输出结果是什么，且善于寻找数据的模型和规律。异常检测是无监督学习算法中的重要方面，这种学习方法擅长发现数据集中间显著不同于其它数据的对象。目前，异常检测已广泛应用于电信和信用卡欺骗、贷款审批、消费者行为分析、气象预报、金融领域客户分类、网络入侵检测等领域。

美国国家网络空间安全保护系统NCPS（National Cybersecurity Protection System，俗称“爱因斯坦计划”），是由美国国土安全部负责设计和运行的、保护美国联邦政府的网络空间基础设施的安全系统。DHS（美国国土安全部）在不断改进爱因斯坦计划的技术架构和部署架构。目前，爱因斯坦计划主要还是基于特征检测的，但目前正在进行基于非特征的检测试点，借助人工智能等技术对系统获取的数据进行快速的异常行为分析。并且通过这些试点，积累运维“非特征检测”和防护系统所需的人员技能、方法、技巧和流程。

 人工智能技术具有哪些安全风险和挑战？

人工智能技术有巨大的潜能改变人类命运，但同样可以被恶意攻击者利用，用以制作高级持续性威胁，即使是人工智能算法本身，也能被恶意攻击者影响，导致AI系统判断失准。在工业、医疗、交通、监控等关键领域，安全危害尤为巨大，如果AI系统被恶意攻击，轻则造成财产损失，重则威胁人身安全。

AI安全风险不仅存在于理论分析，而且真实存在于现今的各种AI应用中：

1. 攻击者通过修改恶意文件绕开基于AI的检测工具，如恶意文件检测工具或恶意流量检测工具等；

2. 攻击者可以通过加入简单的噪音，致使家中的语音控制系统成功调用恶意应用；

3. 攻击者可以通过刻意修改终端回传的数据或刻意与聊天机器人进行某些恶意对话，导致后端AI系统预测错误；

4. 攻击者可以通过在交通指示牌或其他车辆上粘贴或涂抹小标记，致使自动驾驶车辆的判断错误。

人工智能技术的系统设计面临的五大安全挑战：

1. 软硬件面临安全问题

在软件及硬件层面，包括应用、模型、平台、芯片、编码都可能存在漏洞或后门，攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上，攻击者同样可能在模型中植入后门并实施高级攻击。由于AI模型的不可解释性，在模型中植入的恶意后门难以被检测。

1. 数据完整性面临挑战

在数据层面，攻击者能够在训练阶段掺入恶意数据，影响AI模型的推理能力。攻击者同样可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果。

2. 模型保密性难以保证

在模型参数层面，服务提供者往往只希望提供模型查询服务，而不希望曝露自己训练的模型，但通过多次查询，攻击者能够构建出一个相似的模型，进而获取模型的相关信息。

3. 模型鲁棒性不足

由于机器学习训练模型时的样本往往覆盖性不足，使得模型的鲁棒性不强，因此当模型面对恶意样本时，无法给出正确的判断结果。

4. 数据隐私泄露

在用户提供训练数据的场景下，攻击者能够通过反复查询训练好的模型获得用户的隐私信息。