可解释的AI真正意味着什么以及对您的业务意味着什么(VB Live)

 
白盒和黑盒AI现在在媒体上引起了很多关注，尤其是在去年年底的案例之后，这些案例揭示了金融和医疗保健公司使用的决策算法的偏见。
但是什么是黑匣子AI?这比表面上看起来要复杂得多。
Dataiku的数据科学家Triveni Gandhi说：“在最高层次上，黑匣子AI是产生决策的一组算法，背后没有明确的’为什么’。” “它输出了一些预测，但是并没有告诉您它是如何到达的-只是说，请相信我。”
埃森哲应用智能全球负责人AI负责人Rumman Chowdhury说，但对于最终用户而言，一切似乎都像一个黑匣子。在这附近，关于白盒或可解释的AI的讨论变得很有趣。
Chowdhury说：“当我考虑如何“解压”黑匣子时，我考虑的是如何以模型结尾的人(不是总是数据科学家)可以理解的方式使用模型的输出。” 。 “如何获取输出结果，并使之成为业务负责人，高级管理人员或致电客户服务的人员可以理解的原因，以了解其信用额度为何未被某种信用卡批准。”
或这可能意味着律师需要以一种对他们而言可理解和有用的方式来理解模型的输出，以便他们可以从法律角度解决潜在的偏见和责任问题。
而且，如果您无法与企业中的所有不同角色或所有涉众进行解释和协作，那么您就是在孤岛运作，这只会复制黑匣子可能导致的问题，包括偏见等世界性问题。在该辩论中，人脸识别为零，因为现在我们知道，例如，这些模型中有许多在非白人男性中的表现较差。
乔杜里说，公共领域的可解释性问题历史上源于欧盟的GDPR，该声明明确提出了要求具有可解释性和透明度的概念。
她说：“现在，他们不做的就是告诉我们这实际上意味着什么。” “每个人都在为真正的可解释性而挣扎。”
这些不是新问题。乔杜里补充说，长期以来，数据隐私人士一直在谈论诸如知情同意之类的事情，这与可解释性的概念有关。您如何创建整个消费者群都可以理解的“解释”，其中可能有数百万受过不同程度的教育和背景的人，然后他们必须在提供敏感数据时批准隐私协议?治理和问责制从何而来?
最终，重要的是要了解与黑匣子模型相关的影响和风险水平以及对可解释性的需求的重要性。
她说：“例如，如果这是一个模型，那么在确定某人是否获得贷款时，您很可能不希望它成为黑匣子模型。” “如果有人建议在网站上推荐鞋子，那么如果它是黑匣子模型就可以了。”
在某些情况下，您需要使用黑匣子模型，其中神经网络是您要解决的问题的最有效模型，但是无法解释解决方案。
甘地说：“不要试图压制我们的模型，而要控制它正在使用的优化方法。” “它是否以产生偏差的方式优化准确性?然后我们需要更改阈值，这可以在不牺牲模型整体复杂性的情况下缓解问题。”
Zillow Offer的应用科学总监David Fagnan表示，在AI模型的背景下，黑匣子AI确实是一种强大的工具，因此，它很容易以次优方式使用。但是他们意识到，客户不信任他们的黑匣子机做出高风险的购房决策。
“为了确定黑匣子是否总是一件坏事，您首先需要问自己，赌注有多高?”他解释。 “我们登陆的地方是人机结合系统的开发。”
从那以后，他们建立了几种不同的辅助工具版本，甚至灰盒和一些白盒工具，以帮助实现人与机器相结合的决策，因为实际上，黑盒到白盒是一个频谱。
“您要考虑，您对可解释性的定义是什么?”他说。 “您想向谁解释您的模型和预测?是消费者吗?是您自己的科学家，您自己的模型开发人员，还是非技术利益相关者?”
使用该定义，您可以量化您的解释能力。 然后，您可以设置一个阈值，并说，在此之上，我们将其视为黑匣子。 在最可解释的一端，这非常符合人类的决策，很容易与之互动，这可能是白盒类别。 灰色框位于中间。
乔杜里警告：“但是不要认为我们已经解决了一个问题，因为我们已经量化了它，因此不会陷入自满的陷阱。” “世界在变化。 人们在改变。 并非每个人都尽全力做到最好。 那里有恶意行为者。 如果您不尝试特定于上下文并且不适应世界变化的方式，那么事情可能会溜走。”