欧盟《人工智能法》监管沙盒制度及启发
作者 | 夏杰 中国社会科学院大学互联网法治研究中心；许芳源 中国政法大学国际法学院
编辑 | 布鲁斯
2024年5月21日，欧盟理事会正式通过《人工智能法（Artificial Intelligence Act）》，这是全球首部专门监管人工智能（AI）的综合性立法文件。作为立法亮点之一，欧盟《人工智能法》在其第六章开创性地引入新的AI监管工具——监管沙盒（Regulatory Sandbox），以避免监管会抑制AI技术的创新，减少法律对产业发展的负外部性。
早在 2021 年 3 月，挪威就开始试行AI监管沙盒。【1】监管沙盒的基本原理是提供一个让企业试验创新技术或产品的封闭安全法律政策空间，让监管机关可以直接了解创新技术或产品的设计及其发展，从而更好地调整现有法律法规和引入新的法律。欧盟《人工智能法》对沙盒的框架设计采取的是原则性的立法探索，并没有明确和细致的权利义务规定。但监管沙盒这一制度，在金融科技等领域已经存在成功的应用经验。本文通过对金融科技领域的监管沙盒案例进行研究，以期更好地理解监管沙盒的性质和运行模式，并进一步展望未来监管沙盒在AI领域的应用模式。
一、监管沙盒的运作模式
沙盒（Sandbox）概念起源于信息技术行业（简称IT行业），是指用于测试产品或软件的隔离环境。技术开发人员使用 IT 沙盒来执行可疑代码、发起隐形攻击或检查安全软件是否存在漏洞，从而避免损坏主机设备或网络的风险。2015年11月，英国金融行为监管局（Financial Conduct Authority，以下简称“FCA”）首次在法律上提出“监管沙盒（Regulatory Sandbox）”概念，并于2016年6月建立第一个监管沙盒，用于监管金融科技及相关创新产品。根据FCA的《监管沙盒报告》，“监管沙盒”是一个“安全空间”，企业可以在其中测试创新产品、服务、商业模式和交付机制，而无需立即承担试点活动在正常情况下需要承担的所有监管后果。【2】2017年10月，FCA发布《监管沙盒经验教训报告》，对监管沙盒应用结果给予积极评价，【3】这导致越来越多的国家开始试图借鉴和发展这一新型监管工具。
根据2015年FCA颁布的《监管沙盒》手册【4】，监管沙盒的运作主要分为申请阶段、测试阶段和退出阶段三个阶段：
1
申请阶段
在申请阶段，企业向主管部门提交参与监管沙盒的申请书。主管部门根据公开的准入标准审查申请书，作出是否同意该企业参与监管沙盒的决定。如果申请书符合准入标准，则同意该企业进入监管沙盒，同时分配一名项目监管员作为该企业的联系人。
公开的准入标准一般需要同时满足如下条件：
1、符合进入沙盒的产品范围：例如2015年FCA推出的监管沙盒旨在监管金融科技相关产品，因此参与该沙盒的企业产品要为金融科技设计或支持金融科技。
2、具有真正的创新：要求进入沙盒的产品新颖或与现有产品有显著不同。
3、消费者利益：要求进入沙盒的产品为消费者提供可识别利益的良好前景。这些利益可能是直接的（例如减少开设新银行账户所需的时间），也可能是间接的（例如提高公司后台流程的效率或降低相关成本，消费者可能会从中受益）。
4、沙盒需求：要求进入沙盒的产品真正需要在沙盒框架内进行测试。即没有其他方式与主管当局接触或在现实环境中实现测试目标。
5、背景研究：要求企业在开发新产品、了解适用法规和降低风险方面已经投入了适当的资源。例如企业已经制定了业务计划、为测试目的确定了客户、建立了适当的治理和系统及控制流程，并且能证明其产品已充分发展到适合在现实环境中使用。
2
测试阶段
测试阶段分为测试准备阶段和正式测试阶段。在测试准备阶段，主管部门与进入监管沙盒的企业商议确定以下事项：
1、待测试的提案是否涉及受监管活动：如果确定涉及受监管活动并且公司尚未持有适当的许可证，则该公司将被要求申请适当的许可证以进入测试阶段。
2、测试参数：例如地区限制、客户数量限制、服务特定客户的限制、披露限制、任命代理人进行测试的限制。测试参数最终由主管部门决定。如果违反测试参数，测试可能会停止，并采取适当的监督或执法行动。
3、正式测试阶段企业与主管部门之间的合作计划：例如电话、现场访问、信息共享。
4、向企业的相关客户、主管部门和其他相关部门进行适当的披露或沟通：例如，企业需告知消费者企业正在参与沙盒。
5、保障措施：沙盒的目的不是放松管制。因此，即使在受控环境中，也要采取适当的保障措施来维护政策目标和法律要求。
6、保护消费者：如果在测试过程中消费者遭受任何损害，企业应采取补偿或补救措施。如果测试准备阶段的任何步骤未完成，企业将不会继续进行测试。
在正式测试阶段，企业开始测试，并根据测试准备阶段商定的内容与主管部门合作。企业能够在商定的测试参数范围内在“真实”环境中测试其产品。同时，企业应按照商定的计划通过直接到场、会议、电话或书面报告的形式与主管部门沟通。企业在整个测试阶段都会与主管部门密切互动，并且要遵守测试准备阶段商定的参与计划。在企业遵守与主管部门商定的条件进行测试的情况下，主管部门不会对测试活动采取执法行动。以2015年FCA发布的金融科技监管沙盒为例，有以下两种沙盒工具保证企业不会承担被采取执法行动的风险：
1、不执法行动函 (No enforcement action letters, 以下简称“NAL”)：FCA可以发出 NAL，说明如果FCA合理地确信测试活动不违反要求或损害测试目标，则不会对测试活动采取任何执法行动。该承诺适用于从发出 NAL 到结束测试的期间。需要注意的是，这仅解决FCA采取执法行动的风险，并不限制企业对客户的责任。
2、个人指导 (Individual Guidance, 以下简称“IG”)：FCA还可以向企业发布IG，解释企业的测试活动的适用规则。如果企业按照IG行事，则可以确信FCA不会对他们采取行动。
但是，如果企业的测试参数超出范围，主管部门将拥有全套执法和监督权力。这些权力可根据违规的持续时间和严重程度按比例适用。例如，主管部门可以发出警告，要求立即采取补救措施；如果公司没有做出适当反应，主管部门可以要求终止测试、处以罚款或撤销开展相关监管活动的许可。从主管部门的角度来看，测试阶段的价值在于有机会了解监管框架对创新产品的应用情况，并有机会为创新产品建立适当的保障措施。这可能涉及重新评估监管范围或重新调整现有框架内的监管要求。从企业的角度看，企业能够更好地理解监管方案的应用和对创新产品的监管期望。
3
退出阶段
在测试阶段结束后，企业向主管部门提交一份有关测试结果的最终报告。主管部门对报告进行审查，根据先前确定的框架评估测试的成功程度。评估还可能考虑到测试期间发现的因素，例如市场对产品的反馈。
当主管部门的评估结果为测试成功时，沙盒参与者一般有以下三种选择：
1、许可（License）：沙盒参与者可以根据监管要求在市场上推出创新产品。例如，所有从FCA沙盒成功毕业的企业都已根据现有的许可制度获得许可。
2、其他正式批准（Other formal approval）：沙盒参与者可以根据监管要求在市场上推出创新，但须获得豁免。还可能包括与持牌机构的强制性合作关系。例如，肯尼亚资本市场管理局使用《资本市场管理法》（ Capital Markets Authority Act ）中授予的广泛定义的自由裁量权来授权临时运营，直到采用适当的法规。
3、监管变化（Regulatory change）：需要等主管部门发起监管或立法变革来管理沙盒参与者的活动。
二、欧盟《人工智能法》的沙盒监管框架
整体来说，目前欧盟《人工智能法》对于沙盒监管的规定比较框架性和原则性，主要条款涉及AI监管沙盒的定义、制度目的、运行模式和法律责任。
欧盟《人工智能法》对AI监管沙盒的定义很宽泛，即由公共机关所建立的，在特定的时间内为AI安全开发、测试、验证和投入市场提供便利的受控环境。AI监管沙盒的重要特征包括：实验性、创新性、临时性、有限的监管救济、受控准入、密切参与以及监管者和创新者之间的互动，从而实现相互学习。【5】其目的主要包括促进企业创新和主管机关调整法律框架。促进企业创新是指，通过在开发和上市前阶段建立受控实验和测试环境来促进AI创新，在有限的时间内为其开发、培训、测试和验证提供便利。加快AI系统进入欧盟市场，特别是由小微型企业，包括初创企业提供的AI系统。促进主管机关调整法律框架是指，加强主管机关对AI使用的机遇、新风险和影响的监督和理解，促进监管机关和企业的相互学习，包括着眼于法律框架的未来调整，支持与参与AI监管沙盒的监管合作和分享最佳实践。【6】
关于AI监管沙盒的运行模式，欧盟《人工智能法》仅作出原则性规定，具体的实施方案需要等待欧盟委员会后续发布【7】。根据欧盟《人工智能法》第57、58条和序言第139条的相关规定，AI监管沙盒的运行模式也可以分为申请、测试和退出阶段。在申请阶段，AI监管沙盒应当向任何符合资格和选择标准的AI系统潜在提供者开放申请。在测试阶段，对AI监管沙盒中AI系统的监管应涵盖AI系统投放市场或提供服务前的开发、培训、测试和验证，以及可能需要新的合格性评估程序的实质性修改的概念。在退出阶段，主管机关应当为在沙盒中成功开展活动的企业提供书面证明。主管机关还应提供一份退出报告，详细说明在沙盒中开展的活动以及相关结果和学习成果。企业可以在合格性评估程序或相关市场监督活动使用这些文件来证明企业遵守了本法案。
在法律责任的设定上，与前述FCA的金融科技监管沙盒对企业的不执法行动函相同，欧盟《人工智能法》同样规定了企业遵守监管沙盒参与条件即免除处罚的承诺。只要潜在提供者遵守具体计划及其参与条款和条件，并且真诚遵循国家主管机关提供的指导，机关将不会对违反本条例的行为处以行政罚款。但是，该条规定仅针对监管机关的执法活动进行豁免，并不限制企业对消费者的责任，AI监管沙盒中的企业仍应对在沙盒中进行的实验给第三方造成的任何损害负责。【8】
三、现有监管沙盒制度运行经验及启发
据2020年11月20日世界银行发布的《监管沙盒的全球经验》统计，全球已正式宣布建立73个监管沙盒。【9】这一推广使得监管沙盒在金融科技领域获得广泛成功和认可，并逐渐外溢推广到其他的领域，例如数据保护【10】和航空【11】领域。从现有的监管沙盒制度的运行来看，可以发现如下经验或认识。
1
监管沙盒的本质是创新监管工具，核心价值是解决企业确定性预期问题
监管沙盒的核心制度是免除进入沙盒试验中的企业在行政监管上的法律责任，即监管沙盒应当向企业提供免于处罚风险的承诺，例如新加坡金融管理局处理新商业模式时采取“永不说不”的做法【12】、 英国FCA发出“不执法行动函”【13】等。这一做法对于激发企业在前沿技术的创新，能够提供明确的预期，企业敢于做破坏性创新的技术探索而不担心是否会被监管处罚，可以说监管沙盒的本质就是创新促进的重要工具【14】。
在免除行政监管责任的基础上，进入沙盒的企业并没有被免除民事责任。根据英国FCA金融监管沙盒的申请条件，消费者利益保护是其必要条件，而且必须采取相关措施保护消费者利益，这也是从底线上杜绝技术被恶意滥用，给社会造成无法挽回的风险。可以说，这套免除行政监管责任、保留民事损害责任的制度设计的目的就是为了在最基本的安全共识上最大限度地加速技术、产业或商业模式创新。
除了法律责任上的设置，进入沙盒的企业可以是依据现有法律有无法从事的技术或业务（例如对AI定义有疑惑时针对是否落入合规范围业务的问题），或者现有法律对其有较高合规成本要求的企业。这类企业进入沙盒的主要目的是通过沙盒机制来换取法律上的确定性或合法性，避免对未来法律政策极端风险的担忧。因此有观点认为，目前欧盟《人工智能法》对企业的豁免在吸引企业进入监管沙盒上存在不足。例如欧盟《人工智能法》第54条在规定企业使用个人数据的豁免规则上附上了大量约束条件，包括但不限于在目的、处理、删除或透明度方面的条件，满足这些要求的成本似乎远远超过在沙盒背景下提供豁免带来的优势。
2
监管沙盒的具体手段是增进监管和企业之间的双向认知，弥补监管和企业之间的信息差
监管沙盒类似于“先行先试”试验区，在这个试验区内，监管能够随时了解产业、技术或商业模式的最新发展动态，监管和企业之间存在着实时动态发展的双向互动，这一模式能够较好地弥补监管和企业之间的信息差。对监管来说，这一对技术、产业或商业模式的实时跟进也能够更科学升级其监管手段，对企业来说，这类似于以技术或信息来换取政策或法律上的安全保障，而监管沙盒就是上述信任行为的制度化。
具体到AI的监管沙盒，由于AI技术所具有的快速动态变化、跨多个法律领域风险、以及技术不确定性破坏等特点，通过监管和企业之间的这一信任机制的搭建，也有利于打破监管与市场的二元对立，促进监管与企业围绕创新风险管理目的的激励相容。特别是当AI这一工具赋能个人极大的创造性和能动性时，监管想了解个人针对AI的活动及其后续研发、使用等行为，几乎成为一个成本无限大的执法领域。当然，由于不同国家法律政策文化的差异，以及对于监管沙盒背后体现出来的对于技术中立式的立法原则的尊重程度的不同，这一信任机制是否可能在所有不同的法律辖区解决对AI风险的监管，也成为后续值得深入研究探讨的议题。【15】
3
我国对于极端风险AI治理也可以尝试引入监管沙盒制度，更多激励创新技术或应用
2019年1月31日，国务院发布《国务院关于全面推进北京市服务业扩大开放综合试点工作方案的批复》，同意北京市在依法合规的前提下探索“监管沙盒”机制。【16】2019年12月5日，中国人民银行批复支持北京市率先在全国开展金融科技创新监管试点，探索构建符合我国国情、与国际接轨的金融科技创新监管工具暨中国版“监管沙盒”。【17】这显示“监管沙盒”已经纳入到我国金融法律的治理制度中，这对后续我国AI法律制度纳入这一制度也提供了样本。
监管沙盒是典型的主动监管举措，它提供了相对安全和可控程度的一套机制，帮助监管机构在决定是否以及如何监管AI之前更好地了解它们。我国后续的AI立法可以密切关注欧盟《人工智能法》对于AI监管沙盒的立法评估实施效果，特别是考虑到欧盟将监管沙盒作为推动AI创新发展工具的大背景下，我国政策制定者应当重点考虑适合时引进这套监管制度。欧洲部分国家也在探索升级更多新的监管工具来促进创新。例如2019 年英国民航局 (CAA) 推出了创新中心（Innovation hub）制度，通过创新中心，企业可以与主管当局就科技相关问题进行接触，并就创新产品、服务、商业模式或交付机制是否符合许可、注册和监管要求寻求非约束性指导。【18】此外，欧盟理事会已经将监管沙盒与实验性条款联系起来，实验性条款被理解为“使负责实施和执行立法的当局能够在测试创新技术、产品、服务或方法方面逐案豁免行使部分法律规定”的条款，【19】这些制度都适合我国后续AI立法中进行参考适用。
参考文献
【1】Ministerio de Economía, Fomento y Turismo, Sandbox regulatorio de inteligencia artificial En Chile, 2021, https://www.economia.gob.cl/wp-content/uploads/2021/09/PaperSandboxIA.pdf
【2】Financial Conduct Authority, "Regulatory sandbox", 2015, https://www.fca.org.uk/publication/research/regulatory-sandbox.pdf
【3】UK Financial Conduct Authority, "Regulatory sandbox lessons learned report", 2017, https://www.fca.org.uk/publication/research-and-data/regulatory-sandbox-lessons-learned-report.pdf
【4】同脚注1，
【5】欧盟《人工智能法》recital 55
【6】欧盟《人工智能法》recital 138和第57条
【7】欧盟《人工智能法》第58条
【8】欧盟《人工智能法》第57条
【9】World Bank Group, "Global Experiences from Regulatory Sandboxes", 2020, https://openknowledge.worldbank.org/server/api/core/bitstreams/b8c4ba7c-d327-5d3e-a0e9-87c6815463b4/content
【10】UK Information Commissioner’s Office, "Sandbox beta phase discussion paper", 2019,
https://ico.org.uk/media/2614219/sandbox-discussion-paper-20190130.pdf
【11】Civil Aviation Authority, "The CAA innovation hub | UK civil aviation authority",
https://www.caa.co.uk/Our-work/Innovation/The-CAA-innovation-hub/
【12】Agarwal K, "Playing in the regulatory sandbox", 2018, https://www.nyujlb.org/singlepost/2018/01/08/playing-in-the-regulatory-sandbox
【13】UK Financial Conduct Authority, https://www.fca.org.uk/firms/innovation/regulatory-sandbox
【14】European Commission, "Coordinated plan on artificial intelligence", 2018.
【15】Ana Pošćić ** Adrijana Martinović *，REGULATORY SANDBOXES UNDER THE DRAFT EU ARTIFICIAL INTELLIGENCE ACT: AN OPPORTUNITY FOR SMES? *，DOI: https://doi.org/10.22598/iele.2022.9.2.3
【16】《国务院关于全面推进北京市服务业扩大开放综合试点工作方案的批复》（国函〔2019〕16号），https://www.gov.cn/zhengce/content/2019-02/22/content_5367708.htm
【17】《中国人民银行启动金融科技创新监管试点工作》，http://www.pbc.gov.cn/goutongjiaoliu/113456/113469/3933971/index.html
【18】UK Financial Conduct Authority, "List of admitted participants to the UK FCA’s regulatory
sandbox", 2021, https://www.fca.org.uk/firms/innovation/regulatory-sandbox
【19】European Commission, Communication from the commission on an SME strategy for a sustainable and digital Europe, 2020, https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:52020DC0103&from=EN.
（本文仅代表作者观点，不代表知产力立场）
封面来源 | Pexels
