新加坡AI Verify Foundation与IMDA联合发布《生成式人工智能模型治理框架》

2024年5月30日，新加坡人工智能验证基金会（AI Verify Foundation）与新加坡信息通信媒体发展管理局（Infocomm Media Development Authority of Singapore, IMDA）联合发布《生成式人工智能模型治理框架》[1]（Model AI Governance Framework for Generative AI），提出生成式人工智能治理九个维度。这是AI Verify Foundation和IMDA整理全球70余政府、企业、研究机构对于今年1月发布《生成式人工智能模型治理框架草案》[2]的反馈后形成的正式框架，但两者差异不大。以下是《生成式人工智能模型治理框架》（以下简称《框架》）提出促进培育可信生态的九个治理维度介绍。

一是可问责。《框架》提出，可问责是培育可信人工智能生态的关键因素，人工智能开发全链条的参与者，包括模型开发者、应用程序部署者、云服务提供商等都需要对最终用户负责。在问责框架的设计上，需要在事前根据开发链参与者的控制能力分配义务和责任，并设计事后补救措施，考虑保险和赔偿安排 。

二是数据。《框架》提出，数据是模型训练和应用程序开发的核心要素。在数据获取方面需要重点关注三个方面的问题，一要考虑个人数据的可信使用，需要政策制定者明确个人数据保护的要求，鼓励隐私增强技术的研发；二要考虑版权数据使用的争议，需要政策制定者推动利益相关者对话，促进形成利益平衡且符合市场实际的制度安排；三要加强训练数据质量控制，对此需要人工智能开发者做好数据清洗，加强可信数据集建设，提升数据多样性。

三是可信开发和部署。《框架》提出，模型开发及应用部署是人工智能驱动创新的核心，需要从安全开发、披露和评估三个方面进行设计。在开发上，实施行业安全实践，包括使用人类反馈强化学习、输入输出过滤等技术机制。在披露方面，通过类似“食品标签”的模式提示模型训练数据、安全措施、风险、预期用途等，提升透明度。在评估方面，除了实施测试模型性能的基准测试，还需要加强安全测试，并关注不同行业的特殊需要。

四是事件报告。《框架》提出，和其他软件系统相同，人工智能系统无法确保绝对的安全，因此需要建立及时报告和处理补救流程。在尚无事件发生前，可实施漏洞报告激励机制，主动采取措施避免事件发生。在事件发生后，需要根据流程及时报告和采取补救措施，并根据法律法规要求向政府和公众对事件作出说明。

五是测试和保障。《框架》提出，第三方测试在保障可信人工智能发展中具有重要作用，外部审计能提高透明度和用户信赖。对于测试，在方法上需要使用成为共识的基准和测试方法，在人员上确保审计测试人员的独立性，形成生成式人工智能标准化测试和认证机制。

六是安全。《框架》提出，需要关注生成式人工智能区别于传统软件的安全挑战，对传统的安全流程进行改进。在安全保障措施方面，可关注输入过滤和数字取证工具的应用，评估人工智能风险，识别和应用有效技术工具。

七是合成内容来源。《框架》提出，生成式人工智能使得大规模深度伪造成为可能，加剧虚假信息的危害，破坏社会信任。对此，在技术上，需要开发数字水印和加密出处等方法验证内容来源；在缓解负面影响上，要推动与出版者、分发平台等内容生成的关键方合作，帮助用户识别和验证内容。

八是安全和对齐研发。《框架》提出，伴随人工智能能力和风险的增加，需要加大对模型安全和对齐方面的研发投入，包括模型训练中使用人工智能反馈的强化学习（Reinforcement Learning from AI Feedback），训练后的对齐验证等。同时，模型安全和对齐的研发需要国际合作，以集中人才和资源力量。

九是人工智能促进公共利益。《框架》提出，生成式人工智能在促进社会发展中具有重要作用，但同时也需要关注发展中国家获取技术和发展的需求，建立全球数字共识。具体需要：培养用户安全和负责任地使用人工智能的能力，支持使用生成式人工智能提升公共服务体验，帮助劳动者在人工智能时代提升创造力、批判性思维等技能，跟踪生成式人工智能资源需求四方面。

参考资料：

[1]https://aiverifyfoundation.sg/wp-content/uploads/2024/05/Model-AI-Governance-Framework-for-Generative-AI-May-2024-1-1.pdf

[2]https://aiverifyfoundation.sg/downloads/Proposed_MGF_Gen_AI_2024.pdf

关注“广东技术性贸易措施”，获取更多服务。