人工智能的安全发展急需融入社会科学 | 广东省智能创新协会

“人工智能的安全发展，需要社会科学家来确保人工智能在做出涉及人类利益的决策时能够具有正确的价值取向”，这是OpenAI研究人员在一篇新论文中提出的论点的核心。OpenAI是一家总部位于旧金山的非营利组织，由科技名人里德·霍夫曼和彼得·泰尔资助。

长期人工智能（AI）安全的目标是确保先进的人工智能系统与人类价值观保持一致–他们可靠地完成人们希望他们做的事情。在OpenAI，我们希望通过向人们询问他们想要什么，在这些数据上训练机器学习（ML）模型，以及根据这些学习模型优化AI系统来实现这一目标。这项研究的例子包括从人类偏好学习，通过辩论获得AI安全性，以及通过迭代扩增学习复杂目标。

不幸的是，人类对其价值观问题的回答可能不可靠。人类具有有限的知识和推理能力，并且表现出各种认知偏见和道德信仰，这些信念在反思中变得不一致。我们预计，提出问题的不同方式将以不同的方式与人类偏见相互作用，从而产生更高或更低质量的答案。例如，“道德”出现在有关如何错误的动作可以取决于字是否判断的问题，人们可以赌博之间不一致的选择，如果它们都带有任务是复杂的。

OpenAI有几种方法试图针对人类价值观背后的推理，包括放大和辩论，但不知道他们在现实情况下如何与真实的人一起行事。如果对齐算法的问题仅出现在复杂的价值问题的自然语言讨论中，那么当前的ML可能太弱而无法揭示问题。

为了避免ML的限制，我们提出完全由人组成的实验，将ML代理替换为扮演这些代理角色的人。例如，人工智能对齐的辩论方法涉及一个有两个AI辩手和一个人类法官的游戏; 我们可以使用两个人类辩论者和一个人类法官。人类可以辩论我们喜欢的任何问题，人类案例中的经验教训可以转移到ML。

对于AI调整的辩论方法，我们的最终目标是ML辩论者和人类法官，但ML对于许多有趣的任务来说太原始了。因此，我们建议用人类辩论者取代ML辩论者，学习如何在这种仅限人类的环境中进行最佳辩论，然后将我们学到的内容应用于ML /人类案例。

这些仅限人类的实验将受机器学习算法的推动，但不涉及任何ML系统或需要ML背景。他们需要仔细的实验设计，以建设性地建立有关人类思考方式的现有知识。大多数人工智能安全研究人员都专注于机器学习，我们认为这不足以进行这些实验。

为了填补空白，我们需要具有人类认知，行为和道德经验的社会科学家，以及严谨的实验设计。由于我们需要回答的问题是跨学科的，并且与现有研究相比有些不同寻常，我们认为社会科学的许多领域都是适用的，包括实验心理学，认知科学，经济学，政治学和社会心理学，以及神经科学等相邻领域。和法律。

OpenAI相信社会科学家和机器学习研究人员之间的密切合作对于提高我们对人工智能对齐方面的理解是必要的。作为第一步，几位OpenAI研究人员帮助在斯坦福大学的行为科学高级研究中心（CASBS）组织了一次研讨会，该研讨会由Mariano-FlorentinoCuéllar，Margaret Levi和Federica Carugati领导，我们将继续定期会面以讨论周围的问题。社会科学与人工智能结合。我们感谢他们的宝贵见解和参与这些对话。

广东省智能创新协会（www.zhinengxiehui.com）目前是广东省第一家同时也是唯一一家泛智能产业协会，是广东省民政厅正式批准成立的具有独立法人资格的非营利性社会组织。