党的二十届三中全会通过《中共中央关于进一步全面深化改革、推进中国式现代化的决定》，提出“建立人工智能安全监管制度”“完善生成式人工智能发展和管理机制”。当前，新一轮科技革命和产业变革深入发展，人工智能赋能经济社会千行百业，特别是生成式人工智能深刻影响人们的工作生活，也带来一系列新挑战。在推进人工智能创新应用的同时，要深入贯彻落实总体国家安全观，形成人工智能安全治理的强大合力，推动人工智能安全发展。加强人工智能安全治理意义重大加强人工智能安全治理是深入贯彻落实总体国家安全观的需要。
　　新时代以来，以习近平同志为核心的党中央高度关注人工智能安全发展，强调“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控”。
　　加强人工智能安全治理，关系加快培育和发展以人工智能为重要引擎的新质生产力，关系国家重大战略实施和重点领域安力建设，关系推进国家治理体系和治理能力现代化，关系推动人工智能造福全人类，必须统筹发展和安全，加强顶层设计、适当前瞻部署，坚持系统观念、协同推进，有力应对人工智能快速发展所带来的挑战。加强人工智能安全治理是防范人工智能技术现实风险的需要。
　　全球性安全组织开放式Web应用程序安全项目指出，人工智能大模型存在十大安全风险，包括提示词注入、训练数据投毒、模型拒绝服务、供应链漏洞、敏感信息泄露、不安全的插件设计、过度代理、过度依赖、模型盗窃等。我国奇安信集团发布的《2024人工智能安全报告》指出，2023年基于人工智能的深度伪造欺诈增加30倍，基于人工智能的钓鱼邮件增加10倍。
　　加强人工智能安全治理是应对各国抢抓安全治理主导权的需要。根据有关机构Insight Partners的分析，美国在公共安全领域的人工智能支出预计将从2022年的93亿美元增加到2030年的710亿美元，增长超过6倍。同时，美国宣布成立人工智能安全研究所联盟，汇集200多家科技企业、高等院校、金融组织和政府机构等单位，包括谷歌、英伟达、麻省理工学院、兰德公司等，旨在支持安全可信的人工智能的开发部署，争夺国际人工智能安全治理主导权。人工智能安全治理的主要关切人工智能安全治理攸关人类命运，引起国际社会各界广泛关注和讨论，目前各方主要关切以下领域。一是尊重人工智能主权和文化多样性。
　　联合国教科文组织强调在人工智能系统的整个生命周期内，确保尊重、保护和促进多样性，要符合国际人权法、标准和原则，以及人口、文化、性别和社会多样性。有关方面提出“主权人工智能”概念，认为人工智能强大的学习和推演能力使其成为世界文明的重要生产工具，可用来编纂整个国家的文化、社会智慧、常识、历史等各类数据，每个国家都应拥有自主人工智能基础设施，在保护自己文化的同时利用其经济潜力。二是以人为本、智能向善。
　　2023年12月，联合国人工智能咨询机构发布《以人为本的人工智能治理》报告，强调限度地发挥其对人类的益处。基辛格在《人工智能军控之路》一文中呼吁，从国家层面建立“全球人工智能秩序”，以防止人工智能危险和潜在的灾难性后果。OpenAI的CEO山姆·奥尔特曼呼吁：“建立一个像国际原子能机构的机构来监督人工智能的发展。
　　”三是包容性、平等性。《布莱切利宣言》指出，发展人工智能要促进包容性经济增长、可持续发展和创新，强调“包容性人工智能和弥合数字鸿沟的重要性”。牛津大学对全球181个国家在公共服务中使用人工智能情况评估显示，得分的地区包括南半球大部分地区，例如撒哈拉以南非洲、一些中亚和南亚国家，人工智能准备程度的差异将加剧全球不平等。四是安全、可靠、可信。保证人工智能系统生命周期中的数据集、流程和决策的可追溯性十分必要，参与者应采取与人工智能发展阶段相适应的系统风险管理方法，解决隐私、数字安全、偏见等相关风险。人工智能系统应保持透明和负责任的对外资料披露，促进公众对系统输入和输出内容的理解。五是多边主义、国际合作。世界经济论坛《多方合作才能实现负责任的人工智能治理》报告指出，对先进的人工智能进行集体监督不仅有利，而且势在必行。全球局势正处于一个关键时刻，既要迅速发展人工智能技术，又迫切需要治理引导这一飞速发展的技术，在二者之间找到平衡，多方参与的人工智能治理是降低其技术风险并化利用其可能性的合适的方式。六是分类监管、可问责性。欧盟《人工智能法案》提出，根据人工智能对社会造成危害的能力，遵循“基于风险”的方法来分级监管人工智能：风险越高，规则越严格。
　　2023年经合组织发布《推进AI问责制：围绕可信赖AI生命周期的治理和管理风险》报告，强调人工智能问责性原则，建议人工智能治理能够提供针对风险管理流程的审查，包括对流程和结果的监测、审查、记录、沟通和协商，同时提供多种机制，将人工智能风险管理流程嵌入更广泛的组织治理。积极构建我国人工智能安全治理体系人工智能安全治理体系要面向未来“人机物”协同社会、智能化产业体系、数实一体世界、人类命运共同体，坚持“多层、多维、多方”推进，从硬件层、模型层、工具层、应用层等多个层次，主权安全、产业链安全、意识形态安全和能源资源安全等多个维度，建立自主可控、智能向善、综合防护、架构健全的安全治理体系。首先，构建“多层次”安全体系。一是硬件层安全方面，确保人工智能产业的硬件底座安全。在芯片、服务器和智能终端层面，增强芯片硬件设计安全性，采用先进检测技术识别硬件木马或后门。在智算中心和算力网络层面，实施物理层安全技术加密，强化身份和密钥管理，加强网络安全管理。二是大模型安全方面，增强人工智能应用的安全性、可靠性和合规性。有效管理人工智能研发、部署和应用，构建源头语料审查、生成内容审核、伦理规范对齐等机制，开展通用、专用领域模型的评测审计，识别潜在风险，推进实践。三是工具层安全方面，维护我国人工智能开发生态安全。推动自主操作系统研发，减少对外技术依赖。积极推广基于自主技术的并行计算框架与工具链，确保人工智能开发软件安全。四是应用层安全方面，确保人工智能安全嵌入现有工控系统、生产装备、社会运行和基础设施。在汽车、机器人、石化等工业领域，加强人工智能系统安全测试，确保智能系统和设备安全可靠运行。在民生、公共服务领域，严格用户数据管理和安全审计，确保社会治理有序高效。在交通、电力、金融等关键基础设施领域，充分利用人工智能技术建立监测预警系统，建立部署人工智能系统后的网络隔离、数据加密、入侵检测和人类及时接管等安全机制。其次，推进“多维度”安全治理。一是主权安全方面，从技术与内生安全、数据与隐私安全、系统与应用安全、检测与监管安全等多方面综合施策，提高国家人工智能系统的抗攻击能力。二是产业链安全方面，从关键技术保障、前沿科技布局、产业链自主可控、产业生态协同、标准制定实施等方面入手，提升我国在全球人工智能产业中的话语权和影响力。三是意识形态安全方面，加强对数据语料、算法规则、价值导向的管理，确保生成式人工智能产出内容符合国家要求、彰显中国特色。四是能源资源安全方面，加强人工智能产业用能用水趋势预判，完善人工智能能效水效评价及标准体系，加强人工智能产业节能降碳节水技术攻关，优化智算中心空间布局。，形成“多方面”工作合力。一是促进政府、企业联动。在加强政府对人工智能发展监管的同时，发挥内部大市场和新技术高效应用推广的优势，鼓励企业通过自愿行为准则进行自我监管，探索适应不同行业应用需求的监管规则。二是促进科技、产业联动。建立产学研合作平台，支持高校和研究机构的安全技术创新，联合制定安全技术标准和规范，推动产业界人工智能应用安力建设。三是促进“平急两用”联动。人工智能大模型是新型基础设施的关键底座，要确保在平时和应急情况下都能发挥效能，有效提高使用效率和公共安全保障能力。四是促进国内、国外联动。主动参与全球人工智能安全治理体系分工合作，深度融入全球创新网络，积极参与国际标准制定和国际组织构建，提出人工智能安全治理中国方案，引领全球人工智能安全治理向更加科学合理、公平正义方向发展。