《人工智能生成合成内容标识办法（征求意见稿）》及配套国标公开征求意见

来源 | 中国网信网、全国标准信息公共服务平台

国家互联网信息办公室关于《人工智能生成合成内容标识办法（征求意见稿）》公开征求意见的通知

为规范人工智能生成合成内容标识，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益，根据《中华人民共和国网络安全法》、《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》等法律法规，国家互联网信息办公室起草了《人工智能生成合成内容标识办法（征求意见稿）》，现向社会公开征求意见。公众可通过以下途径和方式提出反馈意见：

1.通过电子邮件方式发送至：biaoshi@cac.gov.cn。

2.通过信函方式将意见寄至：北京市西城区车公庄大街11号国家互联网信息办公室网络管理技术局，邮编100044，并在信封上注明“人工智能生成合成内容标识办法征求意见”。

意见反馈截止时间为2024年10月14日。

附件：人工智能生成合成内容标识办法（征求意见稿）国家互联网信息办公室2024年9月14日

人工智能生成合成内容标识办法

（征求意见稿）

第一条 为促进人工智能健康发展，规范人工智能生成合成内容标识，保护公民、法人和其他组织合法权益，维护社会公共利益，根据《中华人民共和国网络安全法》、《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》等法律、行政法规和部门规章，制定本办法。

第二条 符合《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》规定情形的网络信息服务提供者（以下简称“服务提供者”）开展人工智能生成合成内容标识的，适用本办法。

行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等研发、应用人工智能生成合成技术，未向境内公众提供服务的，不适用本办法的规定。

第三条 人工智能生成合成内容是指利用人工智能技术制作、生成、合成的文本、图片、音频、视频等信息。

人工智能生成合成内容标识包括显式标识和隐式标识。

显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可被用户明显感知到的标识。

隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。

第四条 服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的，应当按照下列要求对生成合成内容添加显式标识。

（一）在文本的起始、末尾、中间适当位置添加文字提示或通用符号提示等标识，或在交互场景界面或文字周边添加显著的提示标识；

（二）在音频的起始、末尾或中间适当位置添加语音提示或音频节奏提示等标识，或在交互场景界面中添加显著的提示标识；

（三）在图片的适当位置添加显著的提示标识；

（四）在视频起始画面和视频播放周边的适当位置添加显著的提示标识，可在视频末尾和中间适当位置添加显著的提示标识；

（五）呈现虚拟场景时，应当在起始画面的适当位置添加显著的提示标识，可在虚拟场景持续服务过程中的适当位置添加显著的提示标识；

（六）其他生成合成服务场景应当根据自身应用特点添加具有显著提示效果的显式标识。

服务提供者提供生成合成内容下载、复制、导出等方式时，应当确保文件中含有满足要求的显式标识。

第五条 服务提供者应当按照《互联网信息服务深度合成管理规定》第十六条的规定，在生成合成内容的文件元数据中添加隐式标识，隐式标识包含生成合成内容属性信息、服务提供者名称或编码、内容编号等制作要素信息。

鼓励服务提供者在生成合成内容中添加数字水印等形式的隐式标识。

文件元数据是指按照特定编码格式嵌入到文件头部的描述性信息，用于记录文件来源、属性、用途、版权等信息内容。

第六条 提供网络信息内容传播平台服务的服务提供者应当采取措施，规范生成合成内容传播活动。

（一）应当核验文件元数据中是否含有隐式标识，对于含有隐式标识的，应当采取适当方式在发布内容周边添加显著的提示标识，明确提醒用户该内容属于生成合成内容；

（二）文件元数据中未核验到隐式标识，但用户声明为生成合成内容的，应当采取适当方式在发布内容周边添加显著的提示标识，提醒用户该内容可能为生成合成内容；

（三）文件元数据中未核验到隐式标识，用户也未声明为生成合成内容，但提供网络信息内容传播平台服务的服务提供者检测到显式标识或其他生成合成痕迹的，可识别为疑似生成合成内容，应当采取适当方式在发布内容周边添加显著的提示标识，提醒用户该内容疑似为生成合成内容；

（四）对于确为、可能和疑似生成合成内容的，应当在文件元数据中添加生成合成内容属性信息、传播平台名称或编码、内容编号等传播要素信息；

（五）提供必要的标识功能，并提醒用户主动声明发布内容中是否包含生成合成内容。

第七条 互联网应用程序分发平台在应用程序上架或上线审核时，应当核验服务提供者是否按要求提供生成合成内容标识功能。

第八条 服务提供者应当在用户服务协议中明确说明生成合成内容标识的方法、样式等规范内容，并提示用户仔细阅读并理解相关的标识管理要求。

第九条 如用户需要服务提供者提供没有添加显式标识的生成合成内容，可在通过用户协议明确用户的标识义务和使用责任后，提供不含显式标识的生成合成内容，并留存相关日志不少于六个月。

第十条 用户向提供网络信息内容传播平台服务的服务提供者上传生成合成内容时，应当主动声明并使用平台提供的标识功能进行标识。

任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识，不得为他人实施上述恶意行为提供工具或服务，不得通过不正当标识手段损害他人合法权益。

第十一条 服务提供者应当按照有关强制性国家标准的要求进行标识。

第十二条 服务提供者在履行算法备案、安全评估等手续时，应当按照本办法提供生成合成内容标识相关材料，并加强标识信息共享，为防范打击相关违法犯罪活动提供支持和帮助。

第十三条 违反本办法规定，未对生成合成内容进行标识造成严重后果的，由网信等有关主管部门按照有关法律、行政法规、部门规章的规定予以处罚。

第十四条 本办法自2024年 月 日起施行。

关于征求《网络安全技术 人工智能生成合成内容标识方法》强制性国家标准（征求意见稿）意见的通知

各有关单位及专家：

根据国家标准化管理委员会标准制修订计划，中央网络安全和信息化委员会办公室已组织完成了《网络安全技术 人工智能生成合成内容标识方法》国家标准的征求意见稿，现公开征求意见。请于2024年11月13日前将意见反馈给组织起草部门。

联系人：许晓耕

联系电话：010-64102744

联系邮箱：biaoshi@cac.gov.cn

附件：

1.《网络安全技术 人工智能生成合成内容标识方法（征求意见稿）》

2.编制说明

中央网络安全和信息化委员会办公室

2024年9月14日

网络安全技术 人工智能生成合成内容标识方法（征求意见稿）

国家标准《网络安全技术 人工智能生成合成内容标识方法》（征求意见稿）编制说明

一、工作简况

（一）任务来源

根据国家标准化管理委员会2024年下达的国家标准制修订计划，强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》由中央网络安全和信息化委员会办公室提出，委托全国网络安全标准化技术委员会执行，主要起草单位为中国电子技术标准化研究院，计划号：20241842-Q-252。

（二）制定背景

生成式人工智能已成为继移动互联网技术之后最大的一波技术浪潮，同时也带来了新的安全风险和挑战。随着人工智能技术的发展，人工智能生成合成内容日益逼真，网络传播内容是否由人工智能生成合成难以分辨，社会上已出现多起利用生成合成内容传播虚假新闻、引发社会舆情，或是利用生成合成内容进行诈骗的案件。人工智能生成合成内容存在被误用、滥用、恶意使用的安全风险，严重影响国家安全，危害广大人民群众在网络空间的合法权益。

2022 年11月，国家网信办等三部门发布《互联网信息服务深度合成管理规定》（以下简称“《规定》”），提出了深度合成服务提供者对使用其服务生成或者编辑的信息内容进行标识的要求。2023年7月，国家网信办等七部门发布《生成式人工智能服务管理暂行办法》（以下简称“《办法》”），要求生成式人工智能服务提供者对图片、视频等生成内容进行标识。

为落实《规定》《办法》相关要求，切实维护国家安全和公共利益，制定本标准，对人工智能生成合成内容的标识方法提出规范。本标准对防范人工智能生成合成内容引发安全风险、提升人工智能安全水平起到规范作用，促进人工智能行业安全发展。

（三）起草过程

1、预研阶段

（1）2023年11月，组建编制组，编制形成第一版草案。

（2）2023 年11月-2024年2月，标准编制组开展广泛调研，并多次组织组内研讨，持续完善标准草案，对标准草案进行多轮迭代。

（3）2024 年3月，组织10余家相关企业多次开展调研、召开研讨会，收集企业反馈材料，进一步完善标准草案。

（4）2024年4-5月，继续联系重点企业，征求企业意见，结合企业反馈迭代标准草案版本，形成标准可行性研究报告。

2、起草阶段

（1）2024 年6月25日，国家标准化管理委员会下达本强制性国家标准的制定计划，标准正式立项。

（2）2024年7月3日，成立强制标准工作专班，由中国电子技术标准化研究院牵头，国家计算机网络应急技术处理协调中心、浙江大学、中国科学院软件研究所等共同组成。

（3）2024年7月3日-15日，标准工作专班组织开展基础调研，对标准内容进行研讨，分工修改完善标准草案。

（4）2024年7月16日-30日，先后组织20余家重点通用类与垂域类企业召开3次研讨会，征求企业意见与反馈，完善标准草案。

（5）2024年8月9日，组织召开专家研讨会，征求专家意见建议，并修改完善标准草案。

（6）2024年8月10日-25日，根据专家意见对标准草案多轮修改与完善，更新标准草案文本。

（7）2024年8月26日，再次联系20余家重点通用类与垂域类企业召开研讨会，征求企业意见与反馈，完善标准草案。

（8）2024 年8月30日，组织专家评审会，专家一致同意该项标准通过评审，根据专家意见修改完善后形成征求意见稿。

二、编制原则、强制性国家标准主要技术要求的依据及理由

（一）标准编制原则

本标准的编制原则是：

1）通用性：生成合成服务提供者和内容传播服务提供者均可依据本标准开展对人工智能生成合成内容进行标识活动。

2）可行性：确保标准中技术要求可验证、可操作。为此，本标准编制过程中与科研机构、相关企业、专家进行了多轮研讨。

3）符合性：符合《规定》、《办法》等国家有关法律法规和已有标准规范对于标识的相关要求。

（二）主要技术要求及其确定依据

本标准给出了人工智能生成合成内容标识方法。本标准适用于规范生成合成服务提供者和内容传播服务提供者对人工智能生成合成内容开展的标识活动。

本标准的主要技术要求包括：显式标识方法，隐式标识方法。

显式标识方法包括文本内容显式标识、图片内容显式标识、音频内容显式标识、视频内容显式标识和交互场景界面显式标识。规范了在不同模态的内容上及交互场景界面上进行显式标识的方法，依据为《规定》第十七条“深度合成服务提供者提供以下深度合成服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况”。对目前已对公众提供人工智能生成合成内容服务的产品进行了调研，发现内容显式标识与交互场景界面显式标识已有多家重点企业进行了实践。

隐式标识方法包括元数据隐式标识。规范了在提供文件形式的生成合成内容时，添加元数据隐式标识的方法，依据为《规定》第十六条“深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息”。调研了国内国际不同格式文件元数据写入技术，确保主流文件格式的元数据可写入、可识别。

为落实《规定》《办法》相关要求，切实维护国家安全和公共利益，在有关主管部门的指导下，编制组广泛调研国内外生成式人工智能技术研发机构及企业所开展的探索和应用，编制组成员分工合作，完成了技术可行性与法律法规符合性的调研分析工作，确保了标准的可落地、可实施。

（三）修订前后技术内容的对比[仅适用于国家标准修订项目]

不涉及。

三、与有关法律、行政法规和其他强制性标准的关系

《规定》第十六条提出，深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息。《规定》第十七条提出，深度合成服务提供者提供以下深度合成服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况：

（一）智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务；

（二）合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务；

（三）人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务；

（四）沉浸式拟真场景等生成或者编辑服务；

（五）其他具有生成或者显著改变信息内容功能的服务。

深度合成服务提供者提供前款规定之外的深度合成服务的，应当提供显著标识功能，并提示深度合成服务使用者可以进行显著标识。

《办法》第十二条提出，提供者应当按照《规定》对图片、视频等生成内容进行标识。

本标准依据《规定》第十六、十七条，将标识分为显式标识与隐式标识，并分别规范了显式标识与隐式标识的标识方法，对《办法》《规定》中的要求进行细化，本标准与现行法律、法规以及国家标准不存在冲突与矛盾，与其他标准配套衔接。

四、与国际标准化组织、其他国家或者地区有关法律法规和标准的比对分析

欧盟《人工智能法》和《数字服务法》两部法律涉及AI标识，根据这两部法律的规定，目前主流的生成式人工智能属于有限风险人工智能系统，须承担标识义务，标识技术包括水印、元数据识别、指纹识别、加密方法、日志记录等。美国拜登政府颁布的《关于AI的安全和可信赖开发和使用的行政命令》为美国AI 标识技术标准、指南等文件的出台和工作的开展提供指引。新加坡《生成式人工智能治理模型框架》、加拿大《生成式人工智能行为守则》均提及内容标识技术的应用。国际组织层面，七国集团通过《开发高级人工智能的组织的国际指导原则》，呼吁采用水印等技术使用户能够识别人工智能生成内容。

目前，国际标准化组织ISO/IECJTC1/SC42（人工智能分委员会）和SC27（信息安全、网络空间安全和隐私保护分委员）分别收到了来自加拿大和我国的关于AI标识的标准化贡献，但都还未正式立项。NIST发布的标准《数字内容透明度技术方法概述》中，主要内容有验证内容并跟踪其来源、标记合成内容、检测合成内容等。标准第3节提到标记合成内容分为内容标签、可见水印、披露字段等直接向用户披露内容创作过程中使用AI情况的技术；与隐形水印、数字指纹、嵌入的元数据等间接披露技术。本标准未规定具体的技术指标。C2PA发布的《C2PA技术规范》中，主要是采用可追溯的元数据来保证内容的真实性。

本标准与现有国际政策、标准相比，明确了标识的形式，且技术完备，适用性强。本标准的提出可以引领人工智能技术的规范、安全发展，为我国的AI标识国际标准贡献提供支撑。本标准与现有国际政策、标准不冲突，本标准的颁布实施对国际贸易不会带来壁垒性的影响。

五、重大分歧意见的处理过程、处理意见及其依据

本标准修订过程中无重大分歧。

六、对强制性国家标准自发布日期至实施日期之间的过渡期（以下简称过渡期）的建议及理由

考虑到执行人工智能标识生成与检测技术复杂性相对较低，技术改造所需时间较短，并且由于已有大量制作平台已经开展部分内容标识工作、预计具备短期内适应标注的能力。建议本标准自发布之日起，过渡期为半年。半年以后，正式实施。

七、与实施强制性国家标准有关的政策措施

本标准是《人工智能生成合成内容标识办法》的配套强制性国家标准，该文件当前为征求意见稿。文件第十一条中规定“服务提供者应当按照有关强制性国家标准的要求进行标识”。其中所指“有关强制性国家标准”即为本标准。

本标准编制过程中配套建设人工智能生成合成内容标识验证平台，对后续标准的实施起到支撑作用。同时计划后续对重点企业进行宣讲、培训工作，开展相应的检测、认证服务。

八、是否需要对外通报的建议及理由

本标准既是对我国的《规定》和《办法》的标准支撑，同时也可响应国际标准化组织、其他国家或者地区有关AI标识的法律法规和标准。本标准与现有国际政策、标准相比，明确了标识的形式，且技术完备，适用性强。本标准的提出可以引领人工智能技术的规范、安全发展，为我国的AI标识国际标准贡献提供支撑。

另外，本标准为强制性国家标准，还影响到国际人工智能企业在我国境内提供生成合成内容服务，故建议对外通报。

九、废止现行有关标准的建议

不涉及。

十、涉及专利的有关说明

本标准不涉及相关专利、知识产权、著作权等内容。

十一、强制性国家标准所涉及的产品、过程或者服务目录

本标准适用于生成合成服务提供者和内容传播服务提供者对人工智能生成合成内容开展的标识活动。以及支撑标识活动的相应产品和服务开发和应用。

十二、其他应当予以说明的事项

无。

标准编制组

2024年9月13日

? 点击文末“阅读原文”可查阅下载标准征求意见稿及起草说明

（本文不代表知产力立场，知产力仅提供信息发布平台）

封面来源 | 知产力