随着越来越多的365买球网站下载和消费者采用基于人工智能的应用程序, 确保人工智能(AI)的责任和可信度变得越来越重要。. 政府机构和政府间组织正在迅速制定法规和发布框架，以推动加强监督, 问责制, 以及在使用人工智能时的责任感. 例如, 《365买球网站下载》要求高风险人工智能系统的开发者遵守几项规定, 包括进行模型评估, 评估和减轻系统风险, 并进行对抗性测试(包括生成式人工智能系统的测试)，以符合透明度要求.1 在美国, 《外围买球365app》的关键原则是保护算法歧视, 算法和系统应该公平地使用和设计. 该法案要求进行主动资产评估, 代表性数据的使用, 以及持续的差异测试和缓解.2
虽然人工智能治理框架有几个要素, 对人工智能应用程序背后的算法进行审计是必不可少的必要组成部分. 通过这些算法审计来了解人工智能系统的内部运作是至关重要的，这将为我们提供对训练数据等各个方面的见解, 模型开发和培训, 以及人工智能系统的底层逻辑. 这些信息将通过验证遵守负责任的人工智能的其他原则，增强我们对人工智能系统输出的信心.
算法审计和挑战
算法审计是指评估机器学习(ML)应用程序功能的过程, 包括机器的环境和目的来评估效用和公平性. 这些审计有助于系统地了解模型构建过程中每个步骤中出现的偏见.3 虽然算法审计可能是IT审计界的最新流行语, 政府监管机构研究数据分析和基于ml的系统审计已经有一段时间了. 例如, 澳大利亚竞争与消费者委员会(ACCC)对一家流行的酒店搜索引擎进行了审计. 他们发现，该算法不公平地偏袒那些在排名系统中支付更高佣金的酒店.4 联邦法院命令该公司支付罚款，因为他们在其网站和电视广告中对酒店房价进行了误导性陈述, 在ACCC提起的诉讼中. 这加强了审计算法的好处和重要性，以及它发现驱动基于ai的应用程序输出的逻辑的能力. 另外, 最近出台的一系列法规使算法审计成为人工智能从业者感兴趣的一个关键点.
审计算法的最大障碍是缺乏一个成熟的框架，该框架详细说明了作为审计基础的人工智能子流程. 在如何处理人工智能用例方面，缺乏被广泛采用的先例是另一个挑战.5 此外, 研究人员和监管人员使用的具体技术过于多样化(就所审计的技术方面和所使用的审计程序而言)，并对应于一组特定的目标. 此外, 缺乏基线控制可能导致审计结果不一致和不可靠.
尽管存在这些挑战, 值得注意的是，算法审计领域仍处于起步阶段. 随着数字专业人士不断完善他们对这些工具的理解, 我们可以期望看到建立的程序和控制得到改进. 这不仅有助于审计结果的一致性, 同时也增强了它们的可靠性和实用性. 然而, 算法审计必须涵盖某些关键控制领域，以使其全面、有用并产生影响, 可靠的结果.
系统输入:数据控制
数据是驱动模型的燃料，而模型是算法的基础. 在人工智能开发中, the significance of data is paramount at each phase; having access to the 有关 datasets and creating the appropriate data pipelines is highly important.6 出于这个原因, 审计必须针对各种数据源(如数据准确性)进行控制, 准备, 和保护. 除了数据质量相关的属性, 审计人员必须确保数据集的多样性, 包容, 以及将使用该系统的用户群体的代表, 因为算法的好坏取决于它们的数据管道. 审计人员需要与人工智能工程团队中的数据工程师合作，以更好地了解培训数据的来源以及为解决隐私风险而采取的措施. 随后, 审核员需要评估所采用的数据准备技术，以确保它们不会改变数据的关键属性，包括完整性, 精度, 以及其他统计属性.
对抗性AI测试
各种法规要求高风险和强大的人工智能系统的开发人员必须使用模拟的对抗性攻击(如数据中毒或提示注入)来测试其模型的稳健性. 对抗性测试是指学习模型和算法的压力测试, 通过输入错误的输入来误导算法，从而导致算法失败. 任何算法审计都必须包括对组织如何进行对抗性测试的评估. 应该有一个单独的政策，概述如何对算法进行对抗性测试的整个过程，以提高模型的安全性和准确性. 政策应该详细说明测试的内容, 谁来执行测试, 在开发管道中，这些测试将被执行. 随后, 对这些测试结果的评审进行控制, 例如对模型进行微调，以纠正任何异常和相关文档, 应该进行测试. 其中一个测试就是人工智能红队训练. 网络安全界的“红队”指的是黑客活动分子组成的团队, 道德黑客, 或者是模拟不同类型对手活动的安全研究人员, 包括民族国家和恶意的内部人士, 并试图破坏这个系统. 这也是一种有效的方法来测试人工智能算法的防御效果，以便能够对意外输入做出反应. 这是一个例子，在美国白宫赞助的旨在将人工智能365买球网站下载聚集在一起的活动发生后，许多组织可能会采用这种控制, 打破顶尖科技365买球网站下载的模式, 发现新的风险.7
人工智能模型监控
在AI应用程序部署到生产环境之后, 需要对它们进行持续监控，以确定模型性能中的任何变化, 精度, 输出的精度或安全性. 许多第三方AI模型监控工具跟踪并报告一组超出度量的数据. 算法审计必须包括对模型性能相关参数的审查, 对开发人员实现的可观察性过程的深入分析, 并涵盖以下领域:监控指标的选择, 它们的相关性和适用性, 他们及时发现问题的能力, 以及鉴别和纠正已发现问题的程序. 斯坦福大学语言模型的整体评价(HELM)8 评估语言模型的方法关注诸如准确性之类的度量, 校准, 鲁棒性, 公平, 偏见, 毒性, 且效率高，可以作为可靠的基准. 审核员必须通过分析测量结果来检查人工智能模型是否被持续监控，以防止任何一般性错误或问题, 相关的指标, 阈值是合适的, 有关, 和足够的. 审核员必须确保适当的监控机制能够检测到系统性能中的任何模型漂移或异常.
人工智能模型开发
AI模型开发是一个与IT审计专业人员产生共鸣的概念，因为它与传统的系统开发生命周期(SDLC)明显相似。. 对人工智能模型开发过程的审计将涉及对围绕人工智能系统开发生命周期和变更管理过程的一般IT控制的审查. 然而, 在算法和模型开发的背景下, 必须特别强调设计规范的范围和细节, 测试, 以及审批要求. 审核员必须评估设计文档和相关的威胁模型，以了解算法的目的和逻辑，并确保问题, 包括对该系统对其用户和社会的影响的关注, 得到解决. 审核员应确保在部署算法之前, 执行适当的验证程序-必须执行一系列功能测试，以验证系统的各种特性和功能，并获得令人满意的结果. 最后, 将模型部署到产品中应该需要来自具有适当权限级别的个人的批准，以驱动责任制——在代码审查之后的同行批准是不够的. 这将是在每次审计中测试的关键控制，以降低未部署未经授权的模型或更改以及部署得到适当管理层批准的风险. 利用第三方库或来自外部来源的预训练模型作为算法开发一部分的组织应该考虑将静态扫描与帮助识别软件漏洞的持续集成/持续交付(CI/CD)管道集成在一起, ,从而, 降低模型供应链攻击的风险.
结论
算法审计是帮助确保安全的有效工具, 公平, explainability, 以及人工智能技术的安全性. 最近发布的国际标准化组织(ISO)和国际电工委员会(IEC) ISO/IEC 42001:2023 信息技术-人工智能-管理系统 本标准包含一套必要的控制措施，供365买球网站下载和审核员参考.9 欧盟关于独立审计规则的授权规定，以评估大型在线平台的合规性10 和搜索引擎的数字服务法案11包含算法审计和示例审计测试程序规划的几个指导方针. 人工智能算法的审计是一个不断发展的话题. 随着这些实践的成熟并获得更广泛的采用, 我们可以期待看到这些实践变得更加普遍.
尾注
1 欧洲议会, 人工智能法案:关于可信赖人工智能的综合规则的协议，欧盟，2023年9月12日
2 白宫， AI权利法案的蓝图2022年10月4日，美国
3 Kassir,年代.; 算法审计:使机器学习符合公共利益的关键，《外围买球365app》，2020年
4 澳大利亚竞争与消费者委员会(ACCC)Trivago在酒店房价方面误导了消费者2020年1月21日
5 ISACA, 审计人工智能, 美国,2018年
6 McMullen, M.; “数据在人工智能发展中的作用概述，《365买球网站下载》，2023年4月20日
7 白宫。”“红队大型语言模型识别新的人工智能风险”，美国，2023年8月29日
8 Bommasani R.; Liang, P.; et al.; “语言模型正在改变人工智能:需要全面评估斯坦福大学，加州，美国2020
9 ISO。”人工智能管理系统:365买球网站下载需要知道什么2024年1月31日
10 欧洲委员会, 数字服务法下的独立审计授权条例，欧盟，2023年10月20日
11 欧盟委员会，”数字服务法确保一个安全和负责任的在线环境,” 2024
Varun普拉萨德, CISA, CISM, CCSK, CIPM, PMP
BDO USA P第三方认证高级经理.C.
