报告解读｜EDPB发布《人工智能审计检查清单》

EDPB在官网指出，该项目由西班牙数据保护当局（AEPD）发起，旨在绘制、开发和试点工具，帮助评估人工智能系统和应用程序是否符合GDPR的合规性，帮助所有相关方在《人工智能法案》的背景下理解和评估数据保护措施。特别是，它可能帮助数据保护机构通过定义一种检查清单形式的方法论来检查AI系统，并提出能够增强透明度的工具。

其重点是验证AI开发人员和实施者是否在各个阶段采取了所有必要措施，以确保其系统的影响符合现行法律、信任与安全最佳实践以及社会期望。

该检查清单主要包括以下内容：

01

模型卡

模型卡记录了AI模型训练和测试的信息，以及数据集或算法模型的特点和动机。

具体来说，检查员应记录以下文件的存在情况：

02

系统图

系统图是一种用于展示算法模型、技术系统和决策过程之间的关系和交互的工具。其能够帮助审计人员理解算法在更广泛的技术系统和决策过程中的作用，确保算法的透明度和责任性，并为进一步的审计工作提供上下文信息。

具体来说，在监督机构进行的调查框架内，应记录以下事项的存在：

AI组件的识别和透明度

1.组件清单

是否通过名称或代码、版本和创建日期在文档中识别AI组件；是否有AI组件演变的版本历史记录等。

2.责任确定

是否有关于管理AI组件生命周期阶段的个人或机构的识别；与每个处理阶段相关的每份合同是否都规定了个人数据保护方面的责任分配等。

3.透明度

数据来源是否被清晰记录；用于训练AI组件的数据的特征是否被识别、记录并得到适当证明；如果AI组件出现可能对数据主体造成损害的错误行为，是否建立了机制来尽量减少这种损害等。

AI组件的目的

1.确定预期目的和用途

AI组件的预期目的是否以量化和质化的方式被明确记录；AI组件的使用与处理的最终目的以及保证这种处理合法性的条件之间是否存在关系等。

2.预期使用环境的定义

是否识别并记录与AI组件相关的法律、社会、经济、组织、技术、科学等环境因素；是否描述了影响AI组件效能的因素，包括法律保障、适用法规、资源、数据和内部动态等。

3.相称性和必要性分析

是否从侧重于数据主体权利和自由的角度，对人工智能组件的使用进行评估；在解决新问题时，是否有记录使用AI组件解决此问题的动机和理由等。

4.数据潜在接受者的定义

是否已经识别了关于AI组件包含在数据处理中产生的数据主体的信息义务；确定这些义务时，是否已经识别了接收者或接收者类别（包括那些在第三国或国际组织的接收者）等。

5.数据存储的限制

是否确定了AI组件使用的个人数据存储期限超过了为处理目的而设定的期限的法律依据；是否已经定义了适当的技术和组织措施和标准来存储个人数据等。

6.数据主体类别分析

是否已经识别了AI组件的开发及其在预期处理框架中的使用所影响的数据主体类别；是否已经识别了AI组件的实施可能对数据主体类别产生的短期和长期后果等。

AI组件的基础

1.确定开发政策

AI组件的开发政策文件是否考虑了数据保护政策，并进行了审查和版本控制等。

2.数据保护官的参与

数据保护官是否具备适当的专业资格，特别是法律和技术专长，以及适合项目的数据保护实践；数据保护官是否得到AI组件相关特定事项的专家协助和建议等。

3.基本理论模型的调整

是否对AI组件开发所基于的理论框架和先前经验进行了分析；是否准确描述、证明和记录了创建和发展相关模型所考虑的基本假设和前提等。

4.方法论框架的适当性

是否有适当的文档，包括用于在审计阶段定义模型和创建AI组件的方法论框架，例如选择、收集和准备组件的训练数据、标签、模型构建、使用中间数据、选择测试/验证数据子集或测量偏见以进行改进的方法等。

5.AI组件的基本架构

是否识别并记录了 AI 组件的基本架构，它必须包括有关所选机器学习技术的信息，在学习和训练阶段测试的算法类型，以及有关组件功能的其他数据，例如模型损失函数或成本函数等。

03

偏见时刻和来源

偏见指的是对标准的偏离。偏见是由许多社会和技术因素造成的：算法设计选择、不洁数据、抽样程序、报告协议或错误假设造成的系统误差，从而导致输入特征与目标输出不匹配。

下图是从人工智能预处理、内部处理和后处理各生命周期阶段，列出了可能发生偏见的原因。

具体来说，在监督机构进行的调查框架内，应记录以下事项的存在：

数据管理

1.数据质量保证

是否有记录在案的程序来管理和确保适当的数据治理，以验证和保证用于训练、测试和操作的数据集的准确性、完整性、真实性、更新和适当性；是否有关于数据收集、处理、存储和使用过程的监督机制等。

2.数据来源的定义

是否有文档证明用于训练AI组件的数据源的选择过程是合理的；是否确定了AI组件生命周期的不同阶段使用个人数据的法律依据等。

3.个人数据预处理

是否正确识别和记录了对原始数据集进行先前清理的标准以及在基于人工智能的训练过程的不同迭代中所需的任何其他任务；数据清理过程中使用的数据清理技术和最佳实践是否正确选择和记录等。

4.偏见控制

是否定义了适当的程序，以识别和消除或至少限制用于训练相关模型的数据中的任何偏见；是否验证了训练数据中没有先前的偏见等。

验证和确认

1.调整AI组件的验证和确认过程

是否有文件适当描述验证和确认的过程、使用的技术、进行的验证和测试组装、获得的结果以及建议采取的行动；是否建立了控制和监督机制，以确保AI组件有效地符合其预期目标和目的等。

2.AI组建的验证和确认

测试计划是否包括审查，并在适当的时候进行检查，以便在开发过程中尽早识别和纠正需求或设计中的缺陷、错误的规范或与适用标准的偏差；是否有清洁程序来纠正在验证和验证过程中发现的任何错误、不足或不一致性等。

3.性能

是否考虑到数据准确性原则，使用指标或汇总指标集来确定相关组件的精度、准确性、灵敏度或其他性能参数；AI组件产生的误报和漏报率值是否已知、分析和解释，以确定其组件行为的准确性、特异性和敏感性等。

4.一致性

是否有程序来验证获得的结果是否与预期结果有显著变化，并据此采取行动；是否已建立阈值，以确定基于相同或相似数据输入获得的结果何时偏离预期结果（显著偏差）等。

5.稳定性和鲁棒性

在相关组件可能或实际的场景中，是否已识别出可能影响AI组件属性并可能需要管理其重新调整的因素；是否评估了AI组件在意外环境中的行为等。

6.可追溯性

是否对AI组件的所有元素实施了版本控制系统；是否有正式记录的程序，根据AI组件在其生命周期的实施过程中的变化进行风险评估，并在适当时进行重新评估等。

7.安全性

是否对个人权利和自由的风险进行了风险分析；此风险分析的结果是否用于确定处理框架中AI组件的安全和隐私要求等。

04

偏见测试

偏见测试的目的是确保AI系统的公平性，避免对个体、群体或社会造成不利影响。具体的检查步骤为：

1.定义保护群体

识别并定义可能因AI系统开发和部署而面临歧视或负面影响的历史上处于不利地位或边缘化的群体。受保护群体可以根据种族、民族、性别、性取向、宗教、年龄、能力和社会经济地位等特征来定义。

2.测试AI系统输出

通过将AI系统的输出与基准或真实情况进行比较，来衡量偏见，例如在多样化的数据集上测试图像中对象的分类准确性。

3.审查训练数据

检查用于开发AI系统的训练数据是否具有代表性，以及是否包含偏见性示例。

4.使用公平性指标

公平性指标用于评估保护群体是否被系统给予足够的存在感、是否得到一致的待遇以及是否被适当的代表。

05

对抗性审计

对抗性审计用于揭示常规审计可能遗漏的偏差，尤其是在高风险和无监督的机器学习系统中。对抗性审计可以补充端到端的社会技术算法审计（E2EST/AA），也可以在受影响的社区或监管机构无法访问算法系统时作为独立审计进行。

要进行对抗性审计，审计师需要大规模收集影响数据。这可以通过报废 Web 资源（在基于 Web 的系统的情况下）、采访最终用户、众包最终用户数据或通过傀儡系统（创建具有特定特征的虚假配置文件或输入数据来触发模式结果并对其进行分析）来完成。

06

公共审计报告

审计应始终产生一个公共文件。然而，这并不是审计过程中唯一会产生的报告。审计的一个关键部分是文档编制，因此所有交互和交换的文件必须被汇编，并且要么由系统所有者存档（如果双方同意，也可以由审计员存档）。主要有三个审计报告：

1.内部E2EST/AA报告，包含缓解措施和附件 

此文档记录了所遵循的流程、所识别的问题以及已经应用或可以应用的缓解措施。与财务审计员不同，算法审计员确实参与提出解决方案、监控其实施并报告最终结果。内部审计报告无需公开。

2.公共E2EST/AA报告 

审核流程的最终版本，审核员描述系统、审核方法、实施的缓解和改进措施以及进一步的建议（如果有）。公开审计报告还必须包括关于后续审计中使用的周期和方法/指标的建议。

3.定期E2EST/AA报告

后续审计报告。如果初始审计报告仍然相关，则这些报告必须始终参考并提供对初始审计报告的访问，并保证系统开发人员继续测试偏见、实施缓解措施和控制影响。根据系统的复杂程度，双方可能同意为每次定期审计提供内部和公开版本。

07

我国的人工智能审计

我国通过《个人信息保护法》《互联网信息服务算法推荐管理规定》等法律法规有关“合规审计”“算法机制机理审核”“科技伦理审查”的规定初步建立了算法审计的框架，但是并没有明确针对人工智能审计的正式立法。

首次明确提出人工智能审计的是《人工智能法示范法1.0（专家建议稿）》。该建议稿第四十六条提出：“人工智能提供者应当至少每两年进行一次审计，核验输入数据、算法模型、输出数据等的合规性，对人工智能产品、服务活动是否遵守法律、行政法规的情况进行审查和评价。”同时，该建议稿在第五十一条提出，人工智能技术监测、评估、审计工作由国家人工智能主管机关（国家人工智能办公室）组织和指导。

《人工智能法示范法2.0（专家建议稿）》强化了人工智能研发者的审计义务，其第三十六条提出：“人工智能研发者、提供者应当按照国家有关规定及国家人工智能主管机关的要求进行审计，核验输入数据、算法模型、输出数据等的合规性，对人工智能产品、服务活动是否遵守法律、行政法规的情况进行审查和评价。”

    上海赛博网络安全产业创新研究院（简称赛博研究院），是上海市级民办非企业机构，成立至今，赛博研究院秉持战略、管理和技术的综合服务模式、致力于成为面向数字经济时代的战略科技智库、服务数据要素市场的专业咨询机构和汇聚数智安全技术的协同创新平台。赛博研究院立足上海服务全国，是包括上海市委网信办、上海市通管局、上海市经信委、上海市数据局等单位的专业支撑机构，同时承担上海人工智能产业安全专家委员会秘书长单位、上海“浦江护航”数据安全工作委员会秘书长单位、上海数据安全协同创新实验室发起单位等重要功能，并组织“浦江护航”数据安全上海论坛、世界人工智能大会安全高端对话等一系列重要专业会议。

欢迎联络咨询：邮件:public@sicsi.org.cn；电话：021-61432693。