新的IBM云服务如何检测人工智能中的偏差

人工智能为企业提供了一种承诺，即使用复杂的算法来处理大量数据、发现模式、返回见解，并帮助促进更快、更好的业务决策。通过神经网络、机器学习和深度学习获得的图像识别、自然语言处理、翻译等功能，将帮助高管开辟新的收入来源，提高效率，降低成本，促进自动化。

同时，AI被视为各种“黑箱”。数据在一端，调查结果、决策和意见从另一端出来，但如何实现这些结果几乎没有可见性。随着企业和消费者学会更加依赖人工智能技术，人们越来越担心调查结果的偏差。神经网络和输入的数据一样好，数据可能会受到输入数据的人的影响。

给前景带来透明度

IBM官员现在提供基于云的服务，旨在检测人工智能中的偏差，并为人工智能驱动的系统决策提供透明度。这项服务运行在IBM Cloud上，可以用来管理来自各种技术供应商的AI系统。与此同时，该公司将向开源社区发布一个工具包，包括其他人可以用来检测和减轻人工智能偏见的技术和教育工具。

IBM Watson首席架构师、IBM研究员Ruchir Puri表示，随着这一技术在行业中的采用，能够检测偏差，更好地理解AI系统的决策过程，这一点非常重要。

Puri在公司博客上写道：“为了让人工智能蓬勃发展，让企业从中受益，高管们需要信任他们的人工智能系统。“他们需要有能力管理这些系统，发现并减轻偏见。透明度是人工智能决策的关键，通常是法律要求的。例如，在保险行业，理赔员可能需要向客户解释为什么他们的自动理赔被自动处理系统拒绝。

“是时候开始打开人工智能的黑匣子，让组织对自己管理这些系统的能力有信心，并解释如何做出决策。"

随着人工智能新的信任和透明功能的出现，认知和人工智能系统和软件的支出持续快速增长。IDC分析师本月表示，今年认知和人工智能系统的支出将达到240亿美元，到2022年将增长到776亿美元，这一时期的年均增长率为37.3%。

大量公司转向采用人工智能

IBM自己的研究发现，82%的企业正在考虑或推动采用人工智能，专注于创收，而60%的企业担心人工智能涉及的责任。IBM发现63%的人缺乏使用人工智能的技能。

IBM的自动化服务与从流行的机器学习框架和AI环境构建的模型一起工作，例如来自亚马逊网络服务(AWS)的Watson、TensorFlow、SparkML、Sagemaker和微软的AzureML。IBM官方表示，用户还可以定制服务软件，以更好地适应其组织的细节。

该服务可以解释如何做出决策和在做出决策时检测偏差，并自动推荐可以添加到运行模型中的数据，以减少发现的偏差。

这项服务可以解释决策中的因素，是否将决策推向一个方向，并记录模型的准确性、性能和公平性。此外，AI系统的谱系可以跟踪客户服务、监管和合规原因。所有这些都可以通过可视化仪表板进行访问。

人工智能和训练一样好

Puri写道：“对于企业来说，将AI部署到根据用户信息做出决策的应用程序中，公平性是一个关键问题。“对任何用户群体表现出偏见所造成的声誉损害和法律影响，都可能对企业造成严重损害。AI模型和用来训练它们的数据一样好，因此开发具有代表性和有效性的训练数据集非常具有挑战性。”

即使在训练过程中发现偏差，“模型在运行时仍可能存在偏差。这可能是由于分配给不同特征的权重不同导致的优化不协调，”他写道。

公司官员表示，面向开源社区的IBM AI failure 360工具包包括最初的九个算法、代码和三个针对数据科学家、学者和研究人员的教程。未来将会添加更多的工具和教程。