2、在欧盟境内设立经营场所或位于欧盟境内的人工智能系统部署者；

3、在第三国设立经营场所或位于第三国的人工智能系统提供者和部署者，但其人工智能系统产生的输出在欧盟使用；

4、人工智能系统的进口商和分销商；

5、以自身名称或商标将人工智能系统与其产品一起投放市场或投入服务的产品制造商；

6、在欧盟境外设立的提供者的授权代表；

7、位于欧盟境内的受影响者。

《法案》不适用的情形包括：

1、为军事、国防或国家安全目的而投放市场、投入服务或使用的人工智能系统；

2、专为科学研究和发展目的而开发和投入服务的人工智能系统或人工智能模型，包括其输出；

3、在市场上投放或投用之前对人工智能系统或人工智能模型进行的任何研究、测试或开发活动（真实世界测试除外）；

4、在纯粹个人非职业活动中使用人工智能系统的自然人部署者的义务；

5、免费且开源许可发布的人工智能系统，除非这些系统作为高风险人工智能系统或不可接受的风险人工智能系统投放市场或投入服务。

1、《法案》适用主体概念

鉴于人工智能产业需要多个主体配合协作，且上下游各主体的参与作用不同，《法案》将适用主体划分为人工智能系统提供者、部署者、进口商、分销商、授权代表、产品制造商，确保监管对象覆盖了人工智能产业链各参与方，细化明确各主体的责任义务。

2、《法案》适用主体概念区分

提供者的角色适用于开发人工智能系统或通用人工智能模型的实体（包括公共机关或私人组织），即使免费提供人工智能系统或模型，也不能豁免提供者义务。提供者是《法案》规制的重点对象，需要遵守《法案》规定的大部分义务，我们将在下文详述提供者的义务。

部署者的角色适用于在其授权下使用人工智能系统（但不包括通用人工智能模型）的实体（公共机关或私人组织），实体的设立地点或位于欧盟境内。《法案》将部署者的概念框定为人工智能系统的职业使用，个人非职业活动过程中使用人工智能系统的情况被排除在外。部署者应监控高风险人工智能系统的运行，并采取适当的技术和组织措施，以确保部署者按照使用说明使用人工智能系统。

进口商和分销商是在欧盟提供由非欧盟供应商开发的人工智能系统的组织。进口商和分销商的角色只适用于人工智能系统的私人组织，与通用人工智能模型无关。我们理解如提供者设在欧盟境外，通过转售方向欧盟销售人工智能系统，初始的转售方属于进口商，供应链中的其他销售方属于分销商。《法案》对进口商监管是为了确保位于欧盟境外人工智能系统的开发者也需要遵守《法案》要求，《法案》对分销商监管是为了广泛涵盖人工智能系统供应链的上游参与方。进口商和分销商需要确保它们销售的人工智能系统符合《法案》要求。

相关主体在《法案》中的角色也不是一成不变的，如当进口商、经销商、部署者或者其他任何第三方有任何以下行为，将被认定为高风险人工智能系统的提供者，承担提供者的法律义务：

（1）以其商标或名义将高风险人工智能系统投放市场；

（2）修改高风险人工智能系统原本的使用目的；

（3）对高风险人工智能系统进行实质性修改[1]。

3、《法案》主体划分对我国人工智能立法的借鉴

我国《互联网信息服务深度合成管理规定》（“《深度合成管理规定》”）中将深度合成技术的监管对象分为深度合成服务提供者、技术支持者和使用者三类，深度合成服务提供者和技术支持者承担大部分的法律义务。《暂行办法》也仅划分了生成式人工智能服务提供者和使用者两类监管主体，生成式人工智能服务提供者承担大部分的法律义务。与算法和人工智能治理相关的法律文件未对适用主体作出其他更细的分类。

我国目前对算法和人工智能的监管仍以平台作为抓手，平台作为直接面向监管的法律责任承担方，承担管理合作方的主要义务。我国人工智能立法可借鉴《法案》中对适用主体的分类，进一步根据人工智能产业链参与方的角色定位，明确不同参与方的义务，渗透法律要求至产业链各环节，提升各主体的守法责任意识。

三、不可接受的风险和高风险人工智能系统的识别

（一）不可接受的风险人工智能系统

不可接受的风险人工智能系统因为侵害基本权利被禁止使用，不可接受的风险人工智能系统主要包括：

1、通过潜意识操纵用户，损害个人知情决策的系统；

2、利用特定用户在年龄、身体或精神残疾或其他方面的弱点，实质性地改变用户行为的系统；

3、依据社会行为和个人特征对个人群体分类产生社会评分的系统；

4、为执法目的在公共场所使用实时远程生物识别系统[2]；

5、依据个人性格特征预测个人犯罪风险的警务系统；

6、工作场所和教育机构中推断个人情绪的识别系统[3]；

7、使用生物数据推断个人敏感特征（种族、政治观点等）的生物分类系统；

8、无针对性地从互联网或闭路电视录像中抓取面部图像以创建或扩展面部识别数据库的系统[4]。

（二）高风险人工智能系统

识别人工智能系统是否属于高风险从两个方面判断：

1、属于《法案》附件一《欧盟协调立法清单》（“《清单》”》中列举的欧盟产品安全法规下产品的安全组件[5]或产品本身，欧盟产品安全法规涉及的产品领域包含机械、玩具、休闲船舶和个人船舶、升降机和安全部件、爆炸性环境中使用的设备和保护系统、无线电设备、压力设备和索道装置、个人防护设备、气体燃料器具、医疗器械、民用航空、车辆。

2、属于《法案》附件三所列举的系统。考虑到技术发展的不确定性，欧盟委员会可视情况对附件三列举系统进行调整。

附件三目前列举的系统包括以下领域：

（1）未被《法案》禁止的生物识别系统；

（2）关键数字基础设施，如用于道路交通和水电供应管理的安全组件等系统；

（3）教育和职业培训，包括评估学习成绩的系统，检测学生在考试期间是否违纪的系统、评估个人接受适当教育水平等系统；

（4）就业、员工管理和自营职业机会，包括用于招聘录取选择的系统、做出影响工作晋升和评估绩效等系统；

（5）获得和享受基本私人服务以及基本公共福利，包括评估信用等级（防止金融欺诈除外），人寿保险和健康保险的风险评估定价等系统；

（6）执法，包括分析评估个人成为受害者风险的系统，测谎仪等系统；

（7）移民、庇护和边境管制管理，包括审查签证资格等系统；

（8）司法和民主进程，包括影响选举或投票等系统。

四、高风险人工智能系统提供者的义务

（一）开展合规评估

高风险人工智能系统投放市场或投入服务之前，提供者需要开展合规评估，证明系统符合可信赖人工智能的强制要求。合规评估包括自评估和第三方机构评估两种方式，自评估可涵盖《法案》附件三中列举的除生物识别系统以外的其他系统，第三方机构评估涵盖《法案》附件一列举的系统和附件三中的生物识别系统。当人工智能系统或使用目的发生实质变更，合规评估需要重新开展。

合规评估主要评估人工智能系统是否符合《法案》第三章第二节规定的内容，主要包括以下方面：

1、建立风险管理制度

识别和分析高风险人工智能系统在合理使用及在滥用条件下可能对自然人的健康或安全、基本权利造成的已知及可合理预见的风险等。

2、数据治理

建立数据管理制度，训练、验证和测试数据集应满足质量标准，保障数据具有相关性、准确性和完整性，数据处理不侵犯个人合法权益等。

3、文档可追溯性（制定技术文件和留存记录）

在高风险人工智能系统投放市场或投入使用之前制定技术文件，并保持更新；高风险人工智能系统的设计和开发应具备自动记录整个生命周期发生事件的能力等。

4、透明度

高风险人工智能系统以清晰易懂的方式向部署者解释使用说明，说明包括提供者及其授权代表（如适用）的身份和详细联系信息、高风险人工智能系统预期目的、技术特点能力和性能限制等。

5、人工监督

指派专人监测人工智能运行情况；专人可在任何特定情况下决定不使用高风险人工智能系统；专人可干预高风险人工智能系统的运行或中断系统，使系统停止在安全状态等。

6、保障系统的准确性、稳健性和网络安全

高风险人工智能系统的准确度等级和相关准确度指标应在随附的使用说明中公布；高风险人工智能系统应能够抵御未经授权的第三方通过利用系统漏洞改变其使用、输出或性能的企图等。

（二）建立质量管理体系

以书面政策等形式系统记录下列内容:

1、合规策略，包括遵守合格性评估程序和管理修改高风险人工智能系统的程序； 

2、用于高风险人工智能系统的设计、设计控制和设计验证的技术、程序和系统操作；

3、用于高风险人工智能系统的开发、质量控制和质量保证的技术、程序和系统操作； 

4、在开发高风险人工智能系统之前、期间和之后开展的检查、测试和验证程序，以及开展这些程序的频率；

5、应采用的技术规范和标准；

6、数据管理的系统和程序，包括数据获取、数据收集、数据分析、数据标注、数据存储、数据过滤、数据挖掘、数据汇总、数据保留，以及在高风险人工智能系统投放市场或投入服务前和为投放市场或投入服务而进行的与数据有关的任何其他操作； 

7、合规评估要求中的风险管理制度 

8、高风险人工智能系统投入市场后的风险监测系统；

9、高风险人工智能系统者发生严重事件向监管报告的相关程序；

10、处理与成员国主管机关和其他相关机构、客户或其他相关方的沟通；

11、所有相关文件和信息的记录保存系统和程序；

12、资源管理，包括与供应安全有关的措施；

13、问责框架，规定管理层和其他工作人员的责任。

CE标志表明在欧盟境内流通的产品符合欧盟产品安全法规的要求。高风险人工智能系统经评估程序被认定合格后，可贴上CE标志投入使用。

高风险人工智能系统投放市场或投入服务之前，提供者应在欧盟数据库中登记系统信息，欧盟数据库中的信息会向公众公开，欧盟数据库由欧盟委员和成员国合作建立并维护。这类似于《推荐管理规定》及《暂行办法》中的备案公示要求，即具有舆论属性或者社会动员能力服务的服务提供者应向网信办备案，并在其对外提供服务的网站、应用程序等的显著位置标明其备案编号并提供公示信息链接。

1、监测系统风险

高风险人工智能系统提供者需建立完备的上市后检测系统，监测分析人工智能系统在其整个生命周期的性能数据。

2、严重安全事件报告

在发生严重安全事件后应在指定时限内向监管报告。

3、纠正措施

当认为或有理由认为已投放市场或投入使用的高风险人工智能系统不符合规定时，采取必要的纠正措施，包括禁用或召回人工智能系统，通知相关高风险人工智能系统的分销商，并在适用的情况下相应地通知部署商、授权代表和进口商。

如果提供者设立于欧盟境外的第三国，提供者应通过书面授权任命设立在欧盟的授权代表。

提供者在高风险人工智能系统投放市场或投入使用后的10年内，应向成员国主管机关以下资料：

（1）合规评估要求中的技术性文件；

（2）质量管理体系的相关文件；

（3）欧盟合格声明[6]。

五、《法案》合规评估义务和中国监管规定的评估义务的分析

我国法律文件也规定了算法服务提供者承担自评估的义务。《推荐管理规定》第七条中要求算法服务提供者应当落实信息安全主体责任，建立健全算法机制机理审核、安全评估监测、安全事件应急处置等管理制度和技术措施；对于评估的内容，《推荐管理规定》第八条要求算法服务提供者应定期审核、评估、验证算法机制机理、模型、数据和应用结果等。而对于具有舆论属性或者社会动员动力的算法服务提供者则需要向网信备案算法，因为此类算法可能造成的风险较高，需要国家监管部门二次评估。

《深度合成管理规定》明确以下两种情形可由第三方机构评估，但不强制，提供者也可自行评估：

1、生成或者编辑人脸、人声等生物识别信息的；

2、生成或者编辑可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息的。但目前有资质的审核算法机制的第三方机构尚不明确。

对于第三方评估机构的认定程序上，《法案》规定将由成员国指定一个通知机关[7]，负责认定合法性机构（又称被通知机构）[8]。被通知机构的认定条件包括应根据欧盟成员国国内法设立，满足组织、质量管理、资源和流程的要求，与高风险人工智能系统提供者不存在利益冲突等。《法案》对第三方机构的认定程序和认定条件为我国第三方评估机构的设立提供借鉴。

目前第三方评估的情形并不属于强制规定，对提供者不具备约束力，这类算法对个人权益或国家安全造成的风险较高，企业自行评估可能存在识别风险的遗漏，需要明确第三方评估的强制情形，第三方评估机构具备相应的资源和专业人士，不仅可保证评估的公正客观中立，也可有效识别风险并提出整改措施。强制情形则需要根据人工智能系统的风险程度精细分类。 

2、指派专人对人工智能系统进行人工监督；

3、只要部署者对输入人工智能系统数据有控制权，就高风险人工智能系统的预期目的而言，部署者应确保输入数据具有相关性和充分代表性；

4、部署者应根据使用说明监测高风险人工智能系统的运行情况。如果部署者有理由认为，按照使用说明使用高风险人工智能系统可能导致对人的健康或安全或基本权利造成风险，应及时通知提供者或分销商和有关主管机关，并应暂停使用该系统。如果部署者发现了严重事故，也应立即首先通知提供者，然后通知进口商或分销商以及主管机关；

5、在其控制范围内保存该系统自动生成的日志至少六个月，除法律另有规定外；

6、在工作场所投入服务或使用高风险人工智能系统之前，作为雇主的部署者应告知劳动者代表和受影响的劳动者将使用高风险人工智能系统；

7、《法案》附件三列举的高风险人工智能系统的部署者在做出与自然人有关的决定或协助做出与自然人有关的决定时，应告知自然人他们是高风险人工智能系统的使用对象；

8、《法案》附件三列举的高风险人工智能系统（除关键设施基础外）的部署者应评估使用系统可能对自然人基本权利的影响。

（二）进口商的主要义务

1、需要核验以下内容

（1）高风险人工智能系统的提供者已开展合格评估；

（2）提供者已编制技术文件；

（3）系统已标识CE标志，并附有欧盟合格声明和使用说明；

（4）在第三国设立的提供者已通过书面授权任命在欧盟设立的授权代表；

2、如果进口商有充分理由认为高风险人工智能系统不符合《法案》要求，不得将系统投放市场。如果高风险人工智能系统存在对人的健康或安全或基本权利的风险，进口商应将此情况通知系统提供者、授权代表和市场监督管理机构；

3、应在高风险人工智能系统及其包装或随附文件（如适用）上标明其名称、注册商号或注册商标以及联系地址；

4、应有关主管机关提出合理要求后，向监管机构提供所有必要的信息和文件。

1、在市场上提供高风险人工智能系统之前，分销商应核查该系统是否标识CE 标志、欧盟合格声明和使用说明，以及该系统的提供者和进口商是否遵守《法案》规定的义务；

2、如果分销商根据其掌握的信息认为或有理由认为高风险人工智能系统不符合《法案》第三章第二节规定的高风险人工智能系统的合规要求，分销商不得在市场上销售高风险人工智能系统；

3、分销商如根据其掌握的信息认为或有理由认为其在市场上提供的高风险人工智能系统不符合《法案》要求，则应采取必要的纠正措施，使该系统符合这些要求，撤回或召回该系统，或应确保提供者、进口商或任何有关运营者酌情采取这些纠正措施，如果高风险人工智能系统存在对人的健康或安全或基本权利的风险，分销商应立即通知该系统的提供者或进口商以及主管机关；

4、在有关主管机关提出合理要求后，向该主管机关提供所有必要信息和文件。

通用人工智能模型不属于高风险人工智能系统，通用人工智能模型包括系统性风险的通用人工智能模型和不具有系统性的通用人工智能模型。

1、向人工智能系统提供者提供相关信息，在不违反商业秘密保护要求的前提下，以便人工智能系统提供者能够更好地了解通用人工智能模型的能力和局限性；

2、编制技术文件（包括培训和测试过程及其评估结果），以便应要求向监管提供；

3、起草并公开有关用于通用人工智能模型训练内容的摘要，在不违反商业秘密保护要求的前提下，列出用于培训模型的主要数据集，对使用的数据源进行简要解释等；

4、制定尊重欧盟版权指令的政策。

免费开源许可向公众提供的模型特征是允许公众获取、使用、修改和分发模型，模型参数信息包括权重、模型结构信息和模型使用信息均向公众公开，免费开源许可向公众提供模型的提供者只需要遵守前述“（一）通用人工智能模型提供者的通用义务”第3项和第4项的要求。模型若属于具有系统性风险的通用人工智能模型，则不适用上述内容。 

GPT-4技术模型属于具有系统性风险的模型。“系统性风险”是指通用人工智能模型的高影响能力所特有的风险，这类风险由于其覆盖范围对欧盟市场产生重大影响，或者由于对公共健康、安全、公共安全、基本权利或整个社会产生实际或合理可预见的负面影响，可以在整个价值链中大规模传播[9]。

衡量模型是否属于系统性风险通用人工智能模型的标准是模型是否具备高影响力。通用人工智能模型中的“高影响能力”是指与最先进的通用人工智能模型的能力相匹配或超越它的能力。如果根据适当的技术工具和方法进行评估，通用人工智能模型具有高影响能力，或者由于其影响范围对内部市场产生重大影响，则应将其视为存在系统性风险。高影响力的衡量依据包括：

1、当一个通用人工智能模型用于训练的累计计算量（以浮点运算计量）大于10的25次方时，应推定该模型具有高影响能力（浮点运算是计算机领域中的一种基础运算方式,用于进行实数的近似计算。《法案》将“浮点运算”定义为“涉及浮点数的任何数学运算或赋值，浮点数是计算机上表示的实数子集，通常由固定精度的整数与固定基数的整数指数表示”）；或

2、根据《法案》附件十三设定的因素，认为通用人工智能模型具有与第1项相同的能力或影响。《法案》附件十三设定的因素包括：

（1）模型的参数数量；

（2）数据集的质量或大小；

（3） 用于训练模型的计算量，以浮点运算数衡量，或由其他变量组合表示；

（4）模型的输入和输出模式，以及确定每种模式的高影响能力的先进水平阈值，以及输入和输出的具体类型；

（5）模型能力的基准和评估，包括考虑未经额外训练的任务数量、学习新的、独特任务的适应性、自主性和可扩展性程度以及可使用的工具；

（6）通用人工智能模型是否因其覆盖范围而对内部市场产生重大影响，当该模型已提供给在欧盟建立的至少1万名注册商业用户时，应推定其影响；

（7）注册的终端用户数量。

鉴于技术不断改进发展，《法案》授权欧盟委员可对高影响力的衡量依据动态调整。

这类模型提供者需要开展评估，评估内容主要包括

1、对模型进行对抗测试并记录，以识别和降低系统性风险；

2、制定风险管理政策，包括问责和治理机制，实施上市后风险监测等。

3、提供者还应在整个模型的生命周期中采取适当措施，为模型及其物理设施的网络安全提供足够的保护能力；

4、当发生安全事件时，提供者应向欧盟委员会和成员国主管机构及时报告信息和降险方案。

欧盟人工智能委员会将制定通用人工智能模型的“行为守则”，“行为守则”内容至少涵盖通用人工智能模型提供者的义务、具有系统性风险的通用人工智能模型提供者的义务、管理系统性风险的措施程序和方式（包括有关文件），以及确定系统性风险的性质来源等。人工智能委员会将最迟在2025年5月2日之前准备完毕“行为守则”，并报欧盟委员会批准生效。

模型提供者可以自愿通过参与“行为守则”来证明其遵守《法案》规定的义务，并定期向人工智能委员会报告承诺的履行情况和所采取的措施及其结果。如不遵守“行为守则”也可通过其他手段证明并经欧盟委员会评估是否符合合规要求。

八、人工智能监管沙盒

（一）人工智能监管沙盒的目标

《法案》规定成员国应确保其主管机关在国家层级建立至少一个人工智能监管沙盒[10]。

2022年6月，在欧洲议会和欧盟理事会仍就《法案》内容进行磋商期间，西班牙政府和欧盟就启动了人工智能监管沙盒，将《法案》中针对高风险人工智能系统的拟议要求付诸实践。人工智能监管沙盒的总体目标是为了明确人工智能法规对人工智能系统提出的新要求、向开发人工智能系统的公司解读即将出台的人工智能法规的合规要求、促进创新和推动可信赖的创新型人工智能系统的开发，并在受控环境中测试未来的义务和要求、提供实践落地经验以支持在国家和欧洲层面制定标准、指南和工具。 

人工智能监管沙盒适用于人工智能系统的开发与上市前的时间段。对于参与主体，为了扶持中小企业和初创企业，促进和加快人工智能系统进入欧盟市场，《法案》规定中小型企业和初创企业可免费进入人工智能监管沙盒。但对于中小型企业和初创企业的主体资格判断标准，申请参与和退出终止人工智能监管沙盒的程序等内容，《法案》并未作出明确规定，后续欧盟委员会将颁布实施细则。

此外，尽管沙盒旨在鼓励创新，推动人工智能生态系统发展，但不豁免提供者的法律责任，提供者仍需要对测试环境中造成的损害承担责任。

GDPR和我国《个人信息保护法》均要求处理个人信息需要符合最小必要、合法正当原则，个人信息处理者处理个人信息应与处理目的直接相关，且限于处理目的的最小范围，不得过度收集个人信息。个人信息处理者处理个人信息更应具备合法性基础，如获得个人信息主体同意或为履行法律法规规定的义务等其他事由。如个人信息处理者采取匿名化的方式，则无需上述限制。

但实践中的难题是匿名化的定义尚不清晰，且如果个人信息即使经过去标识化处理仍无法满足模型训练的目的。即使获得用户同意，个人信息处理者仍面临用户质疑个人信息用于模型训练是否符合合法性及最小必要原则的挑战。如某公司在隐私政策中描述用户同意上传个人信息用于模型训练，引发用户和媒体质疑。

《法案》规定在人工智能监管沙盒中，为其他目的合法收集的个人数据，在满足第59条的所有条件[11]下，可以仅为开发、训练和测试沙盒中的特定人工智能系统而进行处理。该条为个人信息处理者扩展了处理个人信息的合法性边界，即使不是为初始目的处理个人信息，仍具有《法案》下的合法性。

当然，《法案》对于个人信息处理的合法性扩展解释也叠加了多个适用条件，防止企业滥用扩大解释，监管部门可参考《法案》规定明确个人信息为训练目的处理的合法性。

九、《法案》执行机制和处罚措施

（一）执行机制

《法案》创设了双层治理机制，各成员国监管机构落实人工智能系统执法监督管理职能，各成员国应设立或指定市场监督管理机关；欧盟层面负责管理通用人工智能模型。

为加强欧盟范围的合作，欧洲人工智能委员会成立，委员会由成员国代表组成。人工智能委员会的主要职责包括：

1、促进《法案》在成员国内的一致应用，包括在欧盟层面建立咨询机构，促进支持信息交流；

2、制定《法案》实施细则和指南，如制定通用人工智能模型公开内容摘要模板；

3、执行通用人工智能模型的规则，包括对通用人工智能模型进行评估、向模型提供者获取信息，以及实施处罚。

1、如不遵守禁止人工智能系统的规定，将被处以最高 3500万欧元的行政罚款，或其上一财政年度全球年营业总额的7%，以较高者为准；

2、提供者、授权代表、部署者、经销商或进口商如未履行《法案》对应规定的义务，将被处以最高1500万欧元的行政罚款，或其上一财政年度全球年营业总额的3%，以较高者为准；

3、向监管提供不正确、不完整或误导性信息的，将被处以最高750万欧元的行政罚款；或其上一财政年度全球年营业总额1%的行政罚款，以数额较高者为准。

十、《法案》完全适用的时间

《人工智能法》将于2026年8月2日完全适用，但以下具体规定除外：

1、不可接受的风险人工智能系统的规定将于2025年2月2日适用；

2、通用人工智能模型和成员国指定主管机关的规定将于2025年8月2日适用；

3、《法案》附件一列举的高风险人工智能系统的规定将于2027年8月2日适用。

十一、《法案》和欧盟数据保护法律法规的关系

数据是人工智能系统和大模型发展的基础，优化模型需要汇聚收集大量数据，这也增加了数据滥用和个人信息安全的风险。因此，欧盟监管机构目前对人工智能的监督主要聚焦数据安全问题。2023年3月底，意大利数据保护局以涉嫌违反数据收集规则为由，对OpenAI展开调查，并宣布禁止使用ChatGPT；2023年4月，西班牙国家数据保护局和法国国家信息自由委员会分别宣布对ChatGPT展开调查。

2024年7月，欧洲数据保护机构发布《第 3/2024 号关于数据保护机构在人工智能法案框架中作用的声明》（“《声明》”），《声明》强调《法案》和欧盟数据保护立法（特别是GDPR以及电子隐私指令等）需要在原则上被视为互补和相互加强的工具，欧盟数据保护法完全适用于人工智能系统生命周期中涉及的个人数据处理。

GDPR规定了处理个人信息需要符合合法、目的限制、最小必要原则等。人工智能系统的设计、研发和应用流程中，需要确保企业处理个人信息具有GDPR下规定的合法性基础（如获得个人同意、企业具有合法利益等）；数据模型训练尽管需要丰富的数据，但也应符合最小化原则，保障数据质量；人工智能在告知用户个人信息处理活动时，更应落实透明度原则，充分保障个人信息主体的权利。

十二、《法案》对中国出海企业影响和建议

（一）开展数据合规差距分析

鉴于数据合规是人工智能的监管重点，且人工智能系统的生命周期中都可能涉及处理数据，包括模型训练、和用户交互阶段等，相关企业宜对数据处理全流程进行梳理，综合业务模式，通过审核数据来源文件、开展访谈等方式，排查数据收集、数据标注、数据存储、数据提供、自动化决策等环节是否符合欧盟和成员国当地数据保护法律法规的要求，维护企业数据安全和相关个人信息主体权益，优化数据合规制度文件和内控流程，改善产品设计方案，降低侵权风险。

2024年5月，欧盟数据保护机构发布了《ChatGPT工作组工作报告》，报告主要调查ChatGPT服务在数据处理和隐私保护方面是否符合GDPR的要求，反映了监管机构解释适用GDPR条款的意见；2024年6月，欧盟数据保护机构发布了《生成式人工智能数据合规指南》，为企业落实数据合规要求提供指引。目前人工智能应用合规文件出台的频率较为密集，企业应及时跟踪欧盟层面颁布的政策、法律法规和指南文件，并结合监管执法案例，及时识别合规义务。 

人工智能服务提供者开展合规评估和建设质量管理体系是《法案》下的重点合规义务，尤其是汽车、医疗等领域的出海企业，应梳理拟研发和目前正在使用的人工智能系统和通用人工智能模型情况，判断是否属于高风险系统或具有系统性风险，并厘清企业的主体定位（是否属于提供者、部署者、进口商等，如车企将搭载人工智能系统的整车出口到欧盟则属于高风险人工智能系统提供者），明确自身需要履行的义务，未雨绸缪制定合规方案。

企业如何落地《法案》要求仍需要细化规则作为参考。国际标准化组织（ISO）发布了《信息技术-人工智能-管理系统》，该标准为企业建立、实施、维护和持续改进人工智能系统提供了要求，我们理解企业可参照该标准推荐的做法，并结合《法案》内容完善合规体系建设。

参考文献：

[1]“实质性修改”是指人工智能系统在投放市场或投入服务后发生的修改，这种修改在提供者最初的合格性评估中没有预见到或没有计划，并因此影响人工智能系统对《法案》第三章第二节规定要求的合规性，或导致人工智能系统被评估的预期目的发生修改。

[2]“生物识别分类系统”是指为了基于自然人的生物识别数据将其分配到特定类别的人工智能系统，除非其作为其他商业服务的辅助，而且完全出于客观技术原因具有必要性。“远程生物特征识别系统”是指在没有自然人积极参与的情况下，通过将个人的生物特征数据与参考数据库中包含的生物特征进行比较，远距离识别自然人的人工智能系统。“实时远程生物识别系统”是指生物识别数据的采集、比较和识别均没有明显延迟的远程生物识别系统，不仅包括即时识别，还包括为了规避的有限短暂延迟。

[3]“情绪识别系统”是指旨在基于自然人的生物识别数据识别或推断其情绪或意图的人工智能系统。

[4]这种做法会加剧被大规模监控的感觉，可能导致对包括隐私权在内的基本权利的严重侵犯。

[5]“安全组件”是指产品或人工智能系统的组成部分，履行产品或人工智能系统的安全功能，或其故障或失灵会危及健康和人身或财产安全。

[6]提供者应为每个高风险人工智能系统起草一份书面的、机器可读的、有实体签名或电子签名的欧盟合格声明，欧盟合格说明主要包括：1.人工智能系统的名称和类型，以及可识别和追溯人工智能系统的任何其他明确参考信息；2.提供者或在适用情形下的其授权代表的姓名和地址；3由提供者全权负责签发的声明；4.说明有关人工智能系统符合《法案》或其他欧盟法规的声明；5.如果人工智能系统涉及个人数据处理，则应声明该人工智能系统符合GDPR的要求；6.声明的签发地点和日期、签署人的姓名和职务，以及签署人的签名或其代表的签名等。

[7]“通知机关”是指负责设立和执行必要程序以评估、指定和通知合格评估机构并进行监督的各成员国的国家机关。

[8]“合格性评估机构”是指执行第三方合格评估活动的机构，包括测试、认证和检验；“被通知机构”是指根据《法案》和其他相关欧盟统一立法被通知的合格性评估机构。

[9]系统性风险需要关注与人类意图一致相关的潜在故意滥用或意外造成问题所带来的风险，风险种类具体包括：1.可以降低武器开发、设计获取或使用的准入门槛;2.发现利用网络漏洞，控制物理系统和干扰关键基础设施的能力；3.模型可能导致的有害偏见和歧视，给个人带来的风险；4.传播助长虚假信息泛滥或侵犯隐私；5.对民主价值观和人权构成的威胁；6.特定事件可能导致连锁反应的风险，这种连锁反应可能会影响到整个城市、整个领域的活动或整个社区等。

[10]“沙盒计划”是指参与提供者和主管部门之间商定的文件，其中描述了沙盒内开展活动 的目标、条件、时间表、方法和要求；“人工智能监管沙盒”是指由主管部门建立的受控框架，该框架为人工智能系统的提供者或潜在提供商提供者在真实世界条件下，根据沙盒计划在监管监督下的有限时间内，开发、 训练、验证和测试创新人工智能系统(如适用)的可能性。

[11]（a）人工智能系统为维护重大公共利益而开发（公共利益包括公共安全和公共卫生、高水平保护和改善环境质量、保护生物多样性、能源的可持续性、关键基础设施和网络的安全等）；(b)所处理的数据是遵守《法案》第 3 章第 2 节中提及的一项或多项要求所必需的，而这些要求无法通过处理匿名化、合成或其他非个人数据来有效满足；(c) 具备有效的监测机制，以确定在沙盒实验期间是否可能出现 2016/679 号条例第 35 条和2018/1725 号条例第 39 条所述的对数据主体的权利和自由的任何高风险，以及及时降低这些风险并在必要时停止处理的响应机制；(d) 沙盒中将要处理的任何个人数据均处于功能独立、隔离和受保护的数据处理环境中，由潜在提供者控制，且只有获得授权的人才能访问这些数据；(e) 提供者只能根据欧盟数据保护法进一步共享原始收集的数据。在沙盒中收集的任何个人数据都不能在沙盒之外共享；(f) 沙盒中对个人数据的任何处理都不会导致影响数据主体的措施或决定，也不会影响其在欧盟个人数据保护法中规定的权利的适用；(g) 通过适当的技术和组织措施保护在沙盒中处理的任何个人数据，并在沙盒参与终止或个人数据保存期结束后删除这些数据；(h) 除非欧盟或国家法律另有规定，沙盒中的个人数据处理日志在参与沙盒期间保留；(i) 完整、详细地说明人工智能系统的训练、测试和验证过程及原理，并将预测结果作为附件四的技术文件的一部分；(j) 在主管机关网站上公布在沙盒中开发的人工智能项目、其目标和预期成果的简短摘要。这项义务不包括与执法、边境管制、移民或庇护机关的活动有关的敏感业务数据。

来源：大成律师事务所

作者：

特别声明：大成律师事务所严格遵守对客户的信息保护义务，本篇所涉客户项目内容均取自公开信息或取得客户同意。全文内容、观点仅供参考，不代表大成律师事务所任何立场，亦不应当被视为出具任何形式的法律意见或建议。