AI系统如何理解人的价值

机器学习算法已经能够比他们正在研究的人类更好地识别模式。这使他们能够在各种高风险情况下做出预测和决策。例如，电工利用IBM Watson的预测能力来预测客户的需求。优步的自动驾驶系统决定了将乘客带到目的地的最快路线。Insilico medicine使用他们的药物发现引擎来识别新的药物路线。

随着数据驱动学习系统的不断发展，将很容易根据技术改进来定义“成功”，比如增加可以合成的数据算法数量，从而提高模式识别的效率。然而，要让机器学习系统真正成功，他们需要了解人们的价值观。更重要的是，他们需要能够权衡我们相互竞争的愿望和要求，理解我们最看重的结果，并采取相应的行动。

理解价值

为了突出这种道德决策，我们的ML系统一直在与百家争鸣。芬兰研究员凯索塔拉(Kay Sotala)在基础研究所工作，轮流研究流量分析和自动驾驶汽车。收费公路是应该用来缩短5分钟的通勤时间，还是走更长的路线来节省成本更好？

回答这个问题并不像看起来那么容易。

例如，如果一个人节省了5分钟，他宁愿选择收费5美元的收费公路，但如果收费是10美元，他们可能不想使用收费公路。另一方面，人B可能总是更喜欢选择最短的路线而不考虑价格，因为他们比任何人都更注重时间。

在这种情况下，索塔拉指出，我们最终要求ML系统确定人类更看重时间还是金钱。因此，关于快速走哪条路的简单问题，似乎变成了对竞争价值的复杂分析。有人可能会想，‘行车路线就是效率’。我会让AI系统告诉我最好的实现方式。“但是另一个人可能会发现采用不同的方法是值得的，”他说。

的确，机器学习系统必须权衡我们的价值观，并在所有决策中做出权衡，但索塔拉指出，目前这不是问题。该系统的任务非常简单，因此研究人员可以手动输入必要的价值信息。然而，随着人工智能代理的复杂性增加，索塔拉解释说，他们需要能够自己考虑和权衡我们的价值。

了解基于实用程序的代理

谈到整合价值，索塔拉指出，问题在于智能主体如何决策。例如，恒温器是一个反射器。它知道什么时候开始加热房子由于预设的温度-恒温器会在温度下降到低于特定温度时打开加热系统，当温度高于特定温度时关闭加热系统。另一方面，基于目标的代理基于实现特定目标做出决策。例如，目标是购买购物清单上所有商品的代理将继续搜索，直到找到所有商品。

基于效用的代理比基于目标的代理领先一步。他们可以做出以下权衡：如今，买牛奶比买新鞋更重要。但是我离鞋店比杂货店近，两家店都会关门。在每个决策点，基于目标的代理将看到许多必须选择的选项。每个选项都与特定的“效用”或奖励相关联。为了实现他们的目标，代理遵循将使总回报最大化的决策路径。

从技术角度来看，基于效用的代理依赖于“效用函数”来做出决策。这些是系统用来综合数据、平衡变量和最大化收益的公式。最终，获得最大回报的决策路径是系统被教导选择完成其任务的路径。

虽然这些实用程序擅长发现模式和响应奖励，但索塔拉断言，当前基于实用程序的代理具有固定的优先级。因此，当谈到未来的AGI系统时，这些方法是不够的，因为它们会自动运行，所以有必要对人类价值观何时以及何时发生变化有更深入的了解。

例如，一个人可能总是喜欢走更长的路线来避开高速公路和省钱，但如果他们心脏病发作并试图去急诊室，就不会这样做。当我们时间和金钱的价值发生变化时，人工智能代理应该如何期待和理解？这个问题更为复杂，因为正如索塔拉所指出的，人类往往独立评估事物的价值，而不管它们是否有持续和有形的回报。有时候，人类甚至会珍惜在某些方面可能造成伤害的东西。考虑一个重视隐私的成年人，但他的医生或治疗师可能需要访问亲密和深入的个人信息，这可能会挽救生命。AI代理是否应该公开私人信息？

最后，索塔拉解释说，基于效用程序的代理程序过于简单，没有深入人类行为的根源。“效用函数描述的是行为，而不是行为的原因。假设我们对该人选择的内容有一个大致的了解，那么它们是更具描述性的模型。”虽然描述性模型可能会认识到乘客更喜欢省钱，但他们不了解原因，因此无法预测或确定其他值何时会超过“省钱”。