最简单的 AI 形式（我们称之为 1 级）涉及使用一些结构化数据集来正确加权人类认为重要的因素。例如，可以要求消防员列出与建筑物火灾风险相关的因素。然后可以寻找与这些因素相关的数据集来训练 AI。机器学习用于一次性过程，根据因素对高风险建筑物的预测程度来加权这些因素。
在下一个复杂程度（第 2 级）下，人工智能不仅可以衡量人类认为重要的因素，还可以自行决定哪些因素是相关的、应该如何衡量这些因素以及如何得出给定的结果。例如，地方当局可以使用机器学习来分析数千份关于弱势儿童的自由文本案例记录，以发现模式和相关性，从而预测哪些儿童未来最有可能被送进收容所。
在更高级的 AI（第 3 级）中，训练数据和创建的模型都不是静态的。模型会根据新数据不断更新，而新数据通常是非结构化的且无限的。想象一下，一个警察监控系统会不断分析来自数十个火车站的闭路电视录像和声音数据，以发现可疑行为。
现在，我并不是暗示这些是正式或排他性的类别；我使用它们只是为了解释我的情况。因为当我们考虑这些不同的复杂程度时，很明显，2 级和 3 级应用程序使某些建议非常成问题，甚至不可能。
从创建阶段开始。原则上，对于使用有限 垃圾数据 数量数据集的 1 级和 2 级，透明地公开用于创建 AI 的训练数据是可能的。然而，在 3 级，这变得困难得多，因为 3 级的训练数据基本上是无限的并且不断变化。在 2 级和 3 级，如果数据量巨大且非结构化，则分析训练数据中的偏差非常困难。例如，算法可以生成一个模型，该模型从其他特征中学习了个人的种族或宗教，然后将其用于预测结果。对于分析数千小时非结构化数据（如视频片段）的 AI，有意义的检查并非不可能（可以分析重大事件的汇总统计数据和屏幕截图样本），但它充其量是具有挑战性和不完整的。
在功能阶段，情况会更加复杂。要求开放人工智能代码通常无法在第 2 级和第 3 级实现有意义的透明度或“可解释性”。即使代码可以查看，如果代码非常复杂，则可能基本上无法检查；模型会根据实时数据不断变化；或者使用神经网络（一种常见的机器学习形式）意味着没有单一的“决策点”可供查看。
要理解这一点，请考虑 DeepMind 的AphaGo AI的著名案例。它击败了世界上最好的围棋选手，并不是通过接受最佳策略训练（基于规则的 AI），而是通过与自己下数百万盘棋（基于学习的 AI）。在这种情况下，没有人类程序员可以合理地解释 AI 是如何推理的，只能解释它优化后想要实现的结果——赢得围棋比赛。
最后，在结果阶段，如果没有人能够在功能阶段理解人工智能的内部运作，那么对人工智能输出的解释和问责建议将非常成问题。如果公共部门工作人员甚至在原则上都不知道人工智能是如何推理的，他们又如何能解释一个决定，又如何能知道何时用自己的专业判断来推翻人工智能的评估呢？