问题描述

深度学习的发展使得人工智能模型纷繁复杂，而这些更复杂更强大的模型变得越来越不透明。这些模型基本上仍然是围绕相关性和关联性建立的，从而导致诸多挑战性的问题，如虚假的关联性、模型调试性和透明性的缺失、模型的不可控，以及不受欢迎的数据被放大等。上述问题使得人工智能模型的现实应用存在潜在的公平性、安全性、伦理道德等风险。为缓解经典学习范式的缺陷，防止人工智能系统存在不可信、不可控和不可靠的软肋，实现可信可靠的人工智能，在现实任务中发挥出更大效用，提升人工智能的可解释性是其中的重大挑战。

问题背景

深度学习的发展和多源异构的大数据建设，使得人工智能模型性能不断精进，而其结构也愈加复杂，很不透明。这一问题导致人工智能系统面临不可信、不可控、不可靠等诸多瓶颈。

从人工智能的应用实施落地角度，一方面习得的虚假关联和难以调试导致决策模型不能稳健泛化到现实任务中，另一方面也极易卷入算法歧视、隐私泄露等技术伦理纠纷。

从人工智能的学术研究发展角度，黑盒模型的堆砌和机械性调参也容易导致学术研究陷入瓶颈，阻碍对人工智能基础理论和哲学原理的探索。

因此，人工智能模型可解释性的研究被认为是突破方向并成为研究焦点之一。

最新进展（截止问题发布年度）

随着人工智能技术的发展渗透到社会各处，各国政府、组织开始完善对人工智能发展方向的指引。其中，发展可信、可靠、可解释的人工智能技术成为共识。

2016年，来自谷歌机器学习科学家Ali Rahimi在NIPS大会上表示，当前有一种把机器学习当成炼金术来使用的错误趋势。同年，美国国防高级研究计划局制定了“DARPA Explainable AI (XAI) Program”，希望研究出可解释性的人工智能模型。关于“可解释性”，来自谷歌的科学家在2017年ICML会议上给出一个定义——可解释性是一种以人类理解的语言 ( 术语 ) 给人类提供解释的能力（Interpretability as the ability to explain or to present in understandable terms to a human）。

2019年欧盟出台《人工智能道德准则》，明确提出人工智能的发展方向应该是“可信赖的”，包含安全、隐私和透明、可解释等。2021年9月25日，科技部发布了《新一代人工智能伦理规范》，在其总则中提出确保可控可信是人工智能系统应当满足的基本伦理要求；此外，《规范》要求在人工智能算法设计、实现、应用等环节，应提升透明性、可解释性、可理解性、可靠性、可控性，以逐步实现人工智能系统的可验证、可审核、可监督、可追溯、可预测、可信赖。如何在规范指引下发展可信、可靠、可解释的人工智能系统成为当下亟需突破的问题。

重要意义

深度学习的发展使得人工智能模型纷繁复杂，而这些更复杂更强大的模型变得越来越不透明。这些模型基本上仍然是围绕相关性和关联性建立的，从而导致诸多挑战性的问题，如虚假的关联性、模型调试性和透明性的缺失、模型的不可控，以及不受欢迎的数据被放大等。其中，最核心的问题就是人工智能模型的可解释性。这一问题不解决，人工智能系统就会存在不可信、不可控和不可靠的软肋。2019年欧盟出台《人工智能道德准则》，明确提出人工智能的发展方向应该是“可信赖的”，包含安全、隐私和透明、可解释等。 2021年9月25日，科技部发布了《新一代人工智能伦理规范》，在其总则中提出确保可控可信是人工智能系统应当满足的基本伦理要求；此外，《规范》要求在人工智能算法设计、实现、应用等环节，应提升透明性、可解释性、可理解性、可靠性、可控性，以逐步实现人工智能系统的可验证、可审核、可监督、可追溯、可预测、可信赖。因此发展可信、可靠、可解释的人工智能系统成为当下亟需突破的问题。

人有显性知识和隐性知识，隐性知识就是经验直觉，人可以有效地结合两种不同的知识；而我们在解释、理解事物时必须是利用显性知识。当前的深度学习是以概率模型得到了隐性的知识，而显性知识适合用知识图谱来模拟。但是，目前深度学习和知识图谱这两个世界还没有很好地走到一起。

可解释性要求对人工智能系统的技术过程和相关的决策过程能够给出合理解释。技术可解释性要求人工智能做出的决策是可以被人们所理解和追溯。在人工智能系统会对人类的生命造成重大影响时，就需要人工智能系统的决策过程有一个合理的解释、提前的预判与合法的控制。因此可解释性人工智能有三大需求，第一是使深度神经网组件变得透明；第二是从深度神经网里面学习到语义图；第三是生成人能理解的解释。

人工智能系统不一定有意识，但可以有目的。机器学习的真正难点在于保证机器的目的与人的价值观一致。人工智能面临的重要挑战不是机器能做多少事，而是知道机器做的对不对。