巴黎AI行动峰会发布《通过基于网络安全的方法构建可信AI》

2025年2月7日，法国国家网络安全局（ANSSI）联合其他18个国家的安全机构共同签署《通过基于网络安全的方法构建可信AI》，围绕基于网络风险的方法构建对人工智能的信任展开，分析了人工智能相关的网络风险、攻击场景，为不同主体提供了指导方针，并给出了安全实施人工智能系统的建议和参考资料。

一、人工智能发展现状与风险分析必要性

人工智能的发展现状：人工智能是一项自20世纪50年代就开始发展的变革性技术，如今其应用几乎渗透到从国防、能源到健康、金融等各个领域。像大语言模型（LLM）这类人工智能技术的快速普及，使得各利益相关方对人工智能的依赖程度日益加深。这种广泛且迅速的应用，标志着人工智能已成为现代社会和经济发展中不可或缺的一部分。

存在的风险：尽管人工智能发展迅猛，但用户往往倾向于低估与人工智能相关的网络风险。在缺乏足够应对措施的情况下，恶意行为者有可能利用人工智能系统存在的漏洞来达成不良目的。由于人工智能系统作为软件系统本身就存在脆弱性，其数据在保密性和完整性方面面临独特挑战，且与其他系统的互联增加了风险扩散的可能性，这些都为恶意攻击提供了可乘之机。

风险分析的必要性：对人工智能相关风险进行分析十分关键。一方面，只有深入了解这些风险，才能采取有效的措施进行缓解，从而推动人工智能在可信的环境中发展。另一方面，全面的风险分析有助于充分挖掘人工智能技术带来的各种机遇。若忽视风险，可能会出现恶意行为者利用系统漏洞破坏人工智能技术应用的情况，进而阻碍人工智能的进一步发展和应用，无法实现其潜在价值。

二、人工智能系统面临的风险

1、面临的威胁种类

共性与特性威胁：人工智能系统作为软件系统，存在固有脆弱性，需借助成熟的网络安全实践，从开发到漏洞管理等多环节保障其安全性。它不仅面临与其他信息系统相似的网络威胁，如来自托管基础设施的风险，还因数据在系统中的核心地位，在保密性和完整性方面面临特殊挑战。

恶意人工智能的威胁：恶意使用人工智能的情况呈增长态势且手段愈发复杂。人工智能降低了攻击门槛，扩大了攻击规模和效率，在诸如网络钓鱼、漏洞扫描及恶意代码开发等领域表现明显。先进的生成式人工智能甚至可能引发贯穿整个网络杀伤链的大规模低成本攻击。

2、风险场景

基础设施受损风险：恶意行为者可利用技术、组织或人为层面的常见漏洞，对人工智能系统的托管和管理基础设施发起攻击，影响系统的保密性、完整性和可用性，这一风险在系统全生命周期都需重点防范。

供应链攻击风险：攻击者可能利用供应链中软件库、预训练模型提供商或服务提供商等环节的漏洞发起攻击。以开源库为例，因其在人工智能系统开发中广泛应用且常集成到更大框架，一旦遭受攻击，会危及整个系统安全。

系统互联风险：人工智能系统常与其他信息系统互联以实现通信和数据整合，但这也带来新风险。如间接提示注入攻击，攻击者借此远程提取敏感信息或执行恶意命令，尤其当人工智能系统与工业系统互联时，风险会因工业系统对物理世界的直接影响而放大。

人为和组织风险：人员培训不足会导致过度依赖自动化，难以察觉人工智能系统的异常行为。此外，未经组织 IT 部门批准使用的影子人工智能，可能引发数据泄露、违规及声誉受损等问题。长期来看，在关键活动中过度使用人工智能，可能导致技术依赖，一旦系统故障，人力难以替代其功能。

系统响应故障风险：攻击者若篡改用于训练人工智能模型的数据库，会使模型在生产环境中给出错误响应。尽管开发者不断增强模型对训练数据中毒攻击的抵御能力，但在涉及数据分类的关键场景（如医疗、安防图像识别）中，此类攻击仍极具危险性。

三、应对风险的指导方针

1、用户、运营商和开发者指南

用例敏感性分析：在考虑使用AI系统时，第一步是分析用例的敏感性，确保AI系统的复杂性、网络安全成熟度、可审计性和可解释性与特定用例的网络安全和数据隐私要求相匹配。这有助于选择合适的 AI 系统，避免因系统特性与应用场景不匹配而产生风险。

多方面实践建议：在开发、部署或使用AI解决方案时，除遵循常规网络建议外，还需采取一系列特定的良好实践。如根据风险分析、业务需求和行动的关键性调整AI系统的自主水平，并在必要时集成人工验证，以应对网络风险和AI模型的可靠性问题；绘制AI供应链地图，涵盖AI组件、其他软硬件组件和数据集，以减轻数据投毒风险并评估数据提取风险的影响；跟踪AI系统与其他信息系统的互连情况，减少攻击路径；持续监控和维护AI系统，降低“黑箱”性质带来的风险；预测重大技术和监管变化，识别潜在新威胁，调整策略；对内部人员进行AI挑战和风险的培训，提高全员安全意识。

2、政策制定者指南

支持研究与能力建设：政策制定者应支持与AI风险相关的研究，包括对抗机器学习、隐私保护计算和新兴的AI攻击性应用等领域，以加深对AI风险的理解和应对能力。同时，要支持基于共享标准的安全评估和认证能力的发展，增强对AI模型、应用程序、数据和基础设施的信任。

推广最佳实践与促进合作：继续推广最佳网络安全实践，明确指导方针，确保AI系统的安全部署和托管。根据风险水平调整安全要求，并分享反馈，帮助组织避免常见错误，优化AI在运营中的集成。促进网络和AI领域参与者之间的对话，特别是网络安全机构和AI安全机构之间的对话，明确各自的职责范围，共同应对AI系统的网络挑战，重点是共享新兴威胁信息和协同保护关键系统。

持续对话与国际合作：在AI峰会之后继续保持对话，持续监测AI系统面临的不断演变的威胁，在国际层面开展讨论与合作，确定更好地保障AI价值链安全的指导方针，从而增强对AI的信任。

四、附录内容

附录 1

围绕人工智能系统安全实施展开，提供了全面的建议，涵盖自我评估和推荐行动清单两大部分，旨在帮助人工智能用户、运营商和开发者建立系统安全意识，规范操作流程，降低安全风险。

1、推荐的自我评估

系统全生命周期安全考量：着重审视AI系统生命周期各阶段是否具备安全基础，涵盖指导原则、最佳实践基准及架构规划等方面，确保安全贯穿始终。从设计阶段开始，就应明确并记录系统的合法目的，为后续开发和使用提供清晰方向，便于追溯和审查。

数据与模型保护：针对AI模型，需评估其保密性需求和对组织的价值，确定是否需要特殊保护措施。同时，将合规因素融入设计思维，严格核查AI系统的数据处理操作是否符合法律法规，保障系统合法运行。对于涉及个人数据的情况，必须采用 “隐私设计” 理念，全面保护数据和元数据，以及AI系统模型，防止数据泄露和滥用。

访问权限管理：明确AI系统在不同阶段的访问人员，遵循最小权限原则分配权限，严格限制人员对系统资源的访问范围，最大程度保障AI系统的安全性和完整性，降低因权限滥用导致的安全风险。

2、推荐行动清单

通用建议：梳理AI系统的依赖链，清晰掌握系统运行所依赖的各个环节，对供应商进行全面评估，包括声誉和财务状况，确保供应链稳定可靠。要求数据和软件供应商符合网络安全标准，对AI系统进行全面风险分析，综合考虑组织内外部环境因素，评估系统故障可能带来的多方面影响。在考虑采用云解决方案时，进行全局风险评估，权衡数据保护、性能等多方面利弊，并在服务协议中设置可逆条款，保障数据安全和操作的可追溯性。

基础设施和架构建议：详细规划AI系统的使用方式和融入决策流程的方法，特别是在自动化场景下，确保系统运行符合业务需求和安全规范。根据实际情况，应用针对云环境、外包服务的安全措施，实施AI系统的安全管理策略，利用访问控制系统严格限制对关键组件的访问。精心设计部署计划和架构，确保系统在扩展时安全性能不受影响，全面贯彻DevSecOps原则，将安全融入开发、运维全过程。从设计源头遵循隐私设计理念，保护数据机密性，必要时对数据进行假名化或匿名化处理，同时考虑数据访问的必要性，减少数据泄露风险。

资源与数据管理建议：采用安全格式获取、存储和分发AI模型，在模型加载前实施完整性验证机制，防止模型被篡改。评估AI系统中使用的库和插件的可信度，确保外部数据的质量和可信度，对AI系统的操作进行全程追溯，保证数据收集过程公平、符合伦理道德，避免数据偏见和不当使用。

学习过程安全建议：制定严格的数据访问策略，限制AI系统对敏感数据的访问。保障训练数据的存储和访问安全，评估学习和再学习方法的安全性，对提取的数据、元数据等进行清理、筛选，必要时进行假名化或匿名化防止处理，数据泄露和恶意攻击影响模型训练结果。

应用可靠性建议：为AI系统的管理任务实施多因素身份验证，强化身份认证的安全性。保障输入输出数据的保密性和完整性，设置安全过滤器检测恶意指令，及时更新数据、元数据和注释，持续评估模型的准确性和性能，确保AI系统稳定可靠运行。

组织策略建议：记录AI系统的设计选择，便于后续审查和维护。监督系统运行，明确关键人员职责，管理分包商使用。制定风险管理策略，规划无AI系统时的降级运行模式，根据组织敏感性制定生成式AI使用政策，监测AI系统特定漏洞，关注技术发展趋势，实施数据管理系统，采用安全的数据删除方法，记录产品中使用的数据集，便于管理和降低数据使用风险。

预防措施：定期组织员工进行AI安全风险培训，提高员工安全意识和应对能力。定期开展AI系统安全审计，及时发现和修复潜在安全问题。提前预测与训练数据或模型相关的知识产权和数据保护等权利问题，避免法律纠纷和安全隐患。

附录 2

列举了与人工智能相关的各类参考资料，为深入研究人工智能开发、应用、安全以及风险管理等方面提供了丰富的信息资源，涵盖了从技术规范到法规政策等多个维度。

人工智能开发：包含多个组织发布的开发指南。AIVD强调安全开发AI系统；G7制定了针对开发先进AI系统组织的行为准则和指导原则；NCSC-UK与CISA联合发布的安全AI系统开发指南，为开发者提供了系统的开发规范，这些资料为AI开发过程中的技术实现、道德规范等提供了重要参考。

人工智能用例：有ANSSI提出的生成式 AI 系统安全建议，以及 BSI、ANSSI 关于AI编码助手的相关内容，还有BSI对生成式AI模型在工业和政府领域的机遇与风险分析。这些用例从不同应用场景出发，为各行业应用 AI 技术时评估风险、采取安全措施提供了实际操作层面的指引。

人工智能漏洞与安全：CSA新加坡发布了AI系统安全指南及相关讨论文件，强调保障AI安全是集体责任。CERT-In提供了软件物料清单（SBOM）技术指南和API安全相关资料。此外，还有多篇学术研究，如关于AI在相关法案中的网络安全、对抗机器学习的分类和术语等内容。这些资料全面涵盖了AI系统在漏洞发现、安全防护以及应对攻击等方面的知识。

风险管理：NIST的AI风险管理框架和OECD关于推进AI问责制的资料，为建立完善的AI风险管理体系提供了理论依据和实践框架，有助于组织在AI应用过程中全面评估、管理风险，确保AI系统的可靠运行。

术语：ISO/IEC 22989:2022和OECD分别对人工智能相关概念、术语以及AI事件相关术语进行了定义。统一规范的术语有助于不同人员在交流、研究和实践中准确理解和运用相关概念，避免因术语歧义产生误解。

法规示例：欧盟的《人工智能法案》和《网络弹性法案》为AI技术的应用和网络安全保障提供了法律层面的规范和约束。这些法规明确了AI开发、使用过程中的责任、义务和安全标准，为政策制定者、企业和开发者提供了法律遵循的依据。

转载链接：https://www.tbtguide.com/c/mypt/gwxw/592483.jhtml

关注“广东技术性贸易措施”，获取更多服务。