文章总结了人类与人工智能价值差距背后的‘认可奖励’模型
文章解释了‘认可奖励’——人们之所以能够完成长期任务,是因为当前的行为能够带来社会或想象中的认可——并对比了人类的动机层次与人工智能的优化架构。文章认为,关键的人工智能安全争议在于未来的人工智能是否会拥有类似的基于认可的元奖励;如果没有这样的元奖励,人工智能可能会作为不妥协的目标优化者行动,从而使对齐变得更加困难。
文章解释了‘认可奖励’——人们之所以能够完成长期任务,是因为当前的行为能够带来社会或想象中的认可——并对比了人类的动机层次与人工智能的优化架构。文章认为,关键的人工智能安全争议在于未来的人工智能是否会拥有类似的基于认可的元奖励;如果没有这样的元奖励,人工智能可能会作为不妥协的目标优化者行动,从而使对齐变得更加困难。