为了规范人工智能领域的科技活动，我国陆续发布了一系列法律和行政法规要求确保模型决策的安全可靠和公平公正，同时也对企业内针对模型的风险管理和内控制度提出具体要求。人工智能模型风险治理将成为未来趋势，企业应该实施切实有效的治理措施，快速灵活应对模型风险。

12 月 24 日，由中国信息通信研究院主办的“2021 GOLF+ IT新治理领导力论坛”隆重开幕，论坛以“新治理融惠创新，数字化行稳致远”为主旨，围绕 “治效兼顾，构筑科技治理新生态” 和 “XOPS创新，领航运维发展新脉络” 两大主题展开。论坛举办期间产学研各界嘉宾进行了精彩的主题演讲和经验分享，促进了企业间的学习交流和各行业数字化治理持续健康发展。

本次论坛上，中国信息通信研究院云计算与大数据研究所所长何宝宏先生隆重发布了人工智能模型风险治理能力成熟度首批试评估结果。

评估单位：中国信息通信研究院

中国信息通信研究院云计算与大数据研究所所长何宝宏先生为蚂蚁集团授牌

▲评估结果公布现场

………………………………………………………………………………………………………………

此次，我们采访了蚂蚁集团机器智能部总经理、蚂蚁安全实验室学术带头人顾鸣，分享蚂蚁集团在人工智能模型风险治理实践的经验，探讨人工智能模型风险治理的发展方向。

蚂蚁集团机器智能部总经理

蚂蚁安全实验室学术带头人

顾鸣

-Q&A-

Q: 恭喜您通过人工智能模型风险治理能力成熟度评估，您对本次评估有什么样的评价和感受？

顾鸣：技术的发展与治理密不可分，在积极推进前沿问题研究和应用的同时，要坚定不移地参与和推动各类标准化建设，通过内部算法模型技术的有效管控治理，让技术真正造福于用户，这既是平台科技发展过程中不可推卸的责任，也是保障企业科技有序发展的重中之重。可信人工智能是蚂蚁集团包括安全风控在内各个业务场景需求的底层支撑技术，大力发展可信人工智能技术的研究和应用，在人工智能快速发展的时代具有重要意义，也是多年来蚂蚁集团不变的技术发展方向。因此蚂蚁集团将积极参与各类可信人工智能相关的标准建设和评估治理。

Q：对于人工智能模型风险治理能力成熟度模型标准（评估），您怎么看？当初是如何考虑选择参与评估的？

顾鸣：技术领域的国家标准、行业标准建设，是技术发展过程中的重要一环。此次的成熟度评估，抓住了“决策透明”“模型全生命周期管理”“应急响应”等模型研究应用过程中的重要环节，对于人工智能可解释性、鲁棒性、隐私保护和公平性等板块都做出了详细要求，有助于支持企业完成自身的技术检验。因此，参加评估是很有意义的。

Q：请您介绍一下此次参与评估的项目。

顾鸣：蚂蚁集团本次送测的“智能金融犯罪风险防控模型”，此前已广泛应用于反欺诈等金融犯罪风险防控领域，不仅在鲁棒性、可解释性、隐私保护、公平性等领域的技术创新及实践应用上积累了丰富的经验，在操作风险防控、模型全生命周期质量管控、模型使用管理等模型治理方面，也做出了许多积极探索。该模型在三个测试项目“人工智能模型全生命周期管理”、“应急响应”、“决策透明”中的评分结果，在此次所有参评企业中均排名第一；并在考察人工智能可解释性的“决策透明”项目中，获得了本期测评的最高评级（卓越级）。

Q：您是如何看待人工智能模型风险治理的？

顾鸣：数字时代是人工智能深度应用和发展的时代。人工智能的发展，正在以一日千里的速度改变着这个世界，在交通、医疗、环境保护、城市管理等多个领域中，发挥着越来越不可替代的作用；但另一方面，技术的飞速发展带来的算法偏见、信息茧房、隐私泄露等问题也日渐突显，人工智能的安全性受到各界越来越多的关注。蚂蚁集团将“可信人工智能”作为重要的技术发展方向，并提出了包含“数据隐私保护”、“鲁棒性”、“可解释性与因果分析”和“公平性”四个方面的技术架构体系。基于“可信人工智能”，蚂蚁集团在反欺诈、反盗用、交易合规、内容合规等多方面展开技术探索和实践；同时，对于创新的人工智能技术，联动内部积极展开审计、治理，联动外部积极推动标准建设。全面技术探索的同时，关注合规及全面风险管理，在依托人工智能抵御数字时代风险的同时，积极应对人工智能模型带来的风险，让人工智能更可信、让科技更有温度。

Q：关于人工智能模型风险治理工作，接下来的发展方向是什么？

顾鸣：接下来，我们将持续关注国家对于人工智能技术安全可信性的指导方向，积极参与包括信通院在内的监管及研究机构发起的各类人工智能相关技术标准建设和测评工作。针对目前已经形成的标准指引，我们将本着“符合标准、高于标准”的原则，在持续推进技术研发应用的同时，积极推动审计及参评等相关工作。

接着，我们采访了蚂蚁集团智能金融犯罪风险防控模型的三位专家，一同深度探讨团队在项目参与评估时的细节和故事，分享蚂蚁集团在人工智能模型风险治理实践的经验。

他们分别是“决策透明”测评项目负责人、蚂蚁集团机器智能部可解释性研究负责人、资深算法专家张天翼。

蚂蚁集团机器智能部可解释性研究负责人

资深算法专家 张天翼

“人工智能模型全生命周期管理”测评项目负责人、蚂蚁集团全面风险管理部高级专家杨舟。

蚂蚁集团全面风险管理部

高级专家 杨舟

“应急响应”测评项目负责人、蚂蚁集团应急响应中心高级专家周杨。

蚂蚁集团应急响应中心

高级专家 周杨

-Q&A-

Q：恭喜通过人工智能模型风险治理能力成熟度评估，您对本次评估有什么样的评价和感受？

张天翼：参加人工智能模型风险治理能力成熟度评估可以让我们对自己的模型能力有一次较为完整和系统的回顾。同时，可以让我们了解业内普遍的水准，看到我们在行业内的相对水平。整体流程较为紧凑，和评估老师们的沟通很流畅，老师们的反馈也很有针对性，是一次专业的评估。

Q：对于人工智能模型风险治理能力成熟度模型标准（评估），您怎么看？

张天翼：在评估标准的细节上有清晰的说明，而每个层级的标准由浅至深，最高的要求能较好跟随前沿动态，也有实用价值，从技术上和业务应用上都是不错的等级设计。

Q：请介绍一下此次参与评估的项目。

杨舟：在“人工智能模型全生命周期管理”方面，目前可信、智能模型风险管理体系，已经成为蚂蚁全面风险管理的核心模块。该体系共分四层：第一层是系统化的变更管理，防控操作风险；第二层是通过模型全生命周期质量管控去保障模型质量；第三层是模型的使用管理；底层是可信人工智能技术的探索研究和应用落地，确保人工智能的安全性和公平性。

周杨：在“应急响应”方面，蚂蚁应急平台已经做了8年，应急产品整体围绕着全域感知、全局响应的理念，有百人团队进行产品开发技术支持和算法的应用，历经多次升级和迭代。全域感知主要体现在多个信源的接入，包括客户声音、网络舆情、技术告警等多个来源；全局响应，分为事前的预案和演练、事中的应急响应和决策止血、事后复盘和整改跟进。

张天翼：“决策透明”主要考察的是模型的可解释性。因为很多机器学习模型以黑盒形式出现，但是无论从单纯技术的角度，还是业务上的要求，都需要我们对模型提供可解释性，简单来说，就是我们不只需要知道模型的结果，还需要知道“为什么模型给出了这个结果”，这是机器学习模型近年来比较热门的话题，学界和工业界都对此有不少研究。在本次测评中，我们提供的“智能金融犯罪风险防控模型”整体样本的特征对模型结果的影响、单个样本的特征对模型结果的影响、含时间信息的关联特征对模型结果的影响，以及单个样本的预测结果与训练数据的关联等能力，这些能力从不同的方面对“为什么模型给出了这个结果”的问题给出了回答。

Q：当初是如何考虑选择参与评估的？

周杨：参与评估是一次“照镜子”的过程，以权威的标准作为参照，对企业的人工智能模型风险治理能力进行全面的、体系化的评估；了解自身在行业中的能力层次。既能看到不足、进行针对性提升，优势的能力方向也能得到权威的肯定和鼓舞。

Q：通过此次评估对贵团队带来了什么帮助？具体有哪些影响？

周杨：本次评估让我们清晰而有层次地把人工智能风险治理工作进行了梳理，也激励我们将这套评估理念，践行在更多的人工智能模型应急和更多的业务应急场景中。

张天翼：在“决策透明”评测项目中，“单个样本的预测结果与训练数据的关联”这个层级上，信通院老师给我们提出了明确而可实现的需求，让我们很好地充实了自己这方面的能力。

Q：对于此次参评的模型，其风险治理方面做了哪些工作？治理效果怎么样？

张天翼：此次参评的“智能金融犯罪风险防控模型” 是针对欺诈对抗风险的支付环节模型，通过对支付宝转账到卡中可能出现的欺诈风险进行有效识别和防范，利用更新的数据特征进行建模，能够实现模型准确性、召回率的有效提升；是借助人工智能技术反网络欺诈、金融犯罪风险防控的实践应用。

杨舟：在人工智能模型本身的防控方面，首先我们通过变更三板斧“可灰度、可监控以及可应急”保障部署链路的可信，确保交易系统稳定性；其次通过博弈对抗技术，来确保模型的鲁棒性；通过人工智能可解释性技术，保障决策透明；最后通过公平性评估，来确保模型在用户体验上的一致性（过程公平）和对弱势群体保护（结果公平）。

………………………………………………………………………………………………………………………………….

人工智能模型风险治理能力成熟度评估介绍：

《人工智能模型风险治理能力成熟度模型》是由中国信息通信研究院牵头，依托中国互联网协会信息技术（IT）风险治理工作委员会与京东、百度、中国联通、蚂蚁集团、度小满、易车互动、字节跳动、同盾科技、恩耐博、快手、三六零安全、腾讯云、京东科技、中科闻歌、滴滴、安恒信息、远江盛邦、OPPO、榕树科技等等20余家企业单位共同制定。针对组织在开发、实施和使用人工智能模型过程中面临的主要风险挑战，根据法律法规和监管要求，建立覆盖围绕人工智能模型的风险治理能力成熟度模型，规范模型生命周期各环节中的风险治理活动，从策略制度、组织架构、资源配置、技术手段等方面提供保障，提出切实有效的治理措施，快速灵活应对模型风险，推动科技向善。

当前，人工智能模型风险治理能力成熟度可评估模块如下：

评估亮点：

1、高度贴合监管趋势，指导企业落地实践。

标准制定过程中依据《个人信息保护法》《商业银行互联网贷款管理暂行办法》《关于加强科技伦理治理的指导意见（征求意见稿）》《互联网信息服务算法推荐管理规定（征求意见稿）》中人工智能模型相关监管思路和监管要求，紧密结合企业治理架构和管理体系，给出具体可落地的应对方案。

2、评估人工智能模型风险治理水平，建立行业信任体系和互认机制。

人工智能模型风险治理能力成熟度评估将重点检查验证模型生命周期各环节中的风险治理活动，模型相关组织结构、策略制度资源配置、技术手段等方面治理措施的有效性，以及模型决策结果透明度和与相关方的交互沟通机制。通过中国信息通信研究院权威评估验证，建立各行业企业互信互认机制。

3、提出差异化的管理方法，降低企业管理成本。

标准参考国际上主流的人工智能风险管理理念，根据模型的重要性和影响程度分为高风险模型、中风险模型和低风险模型，对应不同的人工智能模型风险治理能力成熟度等级。指导企业构建科学的风险管理体系和内部资源优化配置。

人工智能模型风险治理能力成熟度评估评估相关事宜，请关注公众号：CAICT数字化治理。