What is the fourth industrail revolution?
日前，《大西洋月刊》发表了一篇题为《How the Enlightenment Ends》的文章，作者为前美国国家安全顾问和国务卿亨利·A·基辛格（HENRY A. KISSINGER）。基辛格在文章中指出，从哲学、理性，以及各个方面来说，人类社会对人工智能的兴起都毫无准备。人类现在必须要开始做出努力了，不久我们就会发现我们开始得太晚了。
前美国国家安全顾问和国务卿亨利·A·基辛格
1
三年前，在一次跨大西洋问题会议上，人工智能的主题出现在议程上。我当时正准备跳过那次会议——这毕竟不是我通常关心的问题——但是演讲开始了，我只好坐在我的座位上。
演讲者描述了一个很快就会挑战围棋国际冠军的计算机程序。我很惊讶一台计算机能够掌握围棋，它比象棋还要复杂。根据围棋的规则，每个玩家分别持有180或181个棋子(取决于他或她选择的颜色)，交替放置在最初空白的棋盘上；想要取得胜利，就要通过做出更好的战略决策，控制棋盘上更多的领土。
演讲者坚持认为，这种能力不能预先编程。 他说，他的机器学会了通过实践来训练自己掌握围棋。考虑到围棋的基本规则，计算机与自己进行了无数次对弈，从错误中吸取教训并不断完善算法。在这个过程中，它超越它的人类导师所掌握的技能。的确，在演讲之后的几个月里，一个叫AlphaGo 的人工智能项目就击败了世界上顶级的围棋选手。
我听到演讲者庆祝这一技术进步的时候，我作为一名历史学家和偶尔从事政治活动的经验，让我有些踌躇。自我学习机器——通过特定过程获得的知识机器——并将这些知识应用于超出人类理解范畴的终结，会对历史会产生什么样的影响？这些机器会学会彼此交流吗？如何在新出现的选择中作出选择？人类历史是否有可能走上印加人的道路，面对着一种不可理解的、甚至令人敬畏的“西班牙”文化？我们现在是处于人类历史新阶段的边缘吗？
由于意识到我在这一领域缺乏技术能力，我组织了一系列关于这一主题的非正式对话，并得到了技术和人文科学专家的建议。 这些讨论使我的担忧有所增加。
迄今为止，对现代历史进程改变最大的技术是在十五世纪发明的印刷术，这种发明使人们能够寻求实证知识来取代礼拜仪式，并使理性时代则逐渐取代了宗教时代。个人洞察力和科学知识取代了信仰作为人类意识的主要准则。信息被存储在不断扩大的图书馆中，并被系统化。理性时代起源于塑造当代世界秩序的思想和行动。
但是，这种秩序现在正处于动荡之中，因为一场新的、甚至更为广泛的技术革命出现了，我们并没有对其带来的后果有充分的考虑，最终的结果，可能会诞生一个依靠数据和算法驱动、充满机器的世界，受伦理或哲学准则约束的世界将会消亡。
2
在互联网时代，我们已经生活在了一些问题之中，而人工智能只会使这些问题更加尖锐。启蒙运动试图将传统的真理交给人类理性。互联网的目的，是通过积累和操纵不断扩大的数据对知识进行评级。人类的认知失去了它的个性。个体转变成了数据，而数据则成了规范。
互联网用户强调检索和处理信息，而不是其意义置于背景或概念上。他们很少会质疑历史或哲学；一般来说，他们需要的信息与他们当前的实际需要相关。在这一过程中，搜索引擎算法获得了预测个人用户偏好的能力，使得算法能够自定义结果，并使其可供其他当事方用于政治或商业目的。真理变成了相对的。信息威胁着智慧。
在社交媒体上，用户被多种观点淹没，他们不再自省。实际上，许多技术爱好者使用互联网来避免他们害怕的孤独。所有的这些压力都削弱了发展和维持信念所需的坚韧，而这种坚韧只能通过一条孤独的道路来实现，这就是创造力的本质。
互联网技术对政治的影响特别明显。 针对微型群体的能力，通过专注于某些目的或者不满的情绪上，可以打破了先前关于优先事项的共识。政治领导人受到这些细分群体的压力，被剥夺了思考或反映场景的时间，以及他们用来发展愿景的空间。
数字世界对速度的强调抑制了反思；它的激励使激进分子胜过了深思熟虑的人；它的价值观是由分组共识塑造的，而不是内省形成的。尽管它取得了种种成就，但由于它的不足压倒了它的便利性，它仍有可能自食其果。
3
随着互联网的发展和计算能力的增强，促进了海量数据的积累和分析，关于人类理解的前所未有的前景出现了。也许最重要的是制造人工智能的项目，这种技术能够通过复制人类思维的过程，来发明和解决复杂的、看似抽象的问题。
这远远超出了我们所知道的自动化。自动化处理意味着：通过使实现这些目标的手段合理化或机械化来实现规定的目标。相反，人工智能处理的是目的；它确定了自己的目标。在某种程度上，它的成就是由它自己决定的，人工智能本身就是不稳定的。人工智能系统通过其自身的操作，在获取和即时分析新数据时，不断发生变化，然后在分析的基础上寻求自我改进。通过这个过程，人工智能发展了一种以前被认为是为人类保留的能力。它会对未来做出战略判断，有些基于作为代码接收的数据(例如游戏规则)，有些基于它自己收集的数据(例如，通过玩100万次游戏进行迭代)。
自动驾驶汽车展示了传统的由人控制的，软件驱动的计算机和人工智能寻求导航之间的区别。驾驶汽车需要在不可能预料到的多种情况下进行判断，因此需要提前编程。以一个众所周知的假设例子来说，如果这种汽车因突发情况被迫在杀害祖父母和杀害儿童之间作出选择，会发生什么情况？它会选择谁？为什么？它将尝试优化其选项中的哪些因素？它能解释它的基本原理吗？面对挑战，如果它能够沟通，它的真实答案可能是：“我不知道(因为我遵循的是数学，而不是人的原则)，”或“你不会理解(因为我受过训练，以某种方式行动，但没有解释它)。”然而，自动驾驶汽车很可能在10年内在公路上普及。
迄今为止，人工智能仍局限于特定的活动领域，现在的研究正在寻求实现能够在多个领域执行任务的“通用智能”人工智能。在可测量的时间段内，越来越多的人类活动将由人工智能算法驱动。但这些算法是对观测数据的数学解释，并不能解释产生这些数据的潜在现实。矛盾的是，随着世界变得更加透明，它也将变得越来越神秘。新世界和我们所知道世界有什么区别？我们将如何生活在其中？我们将如何管理人工智能、改进人工智能，或者至少防止人工智能造成伤害，并最终导致最不祥的担忧：人工智能通过比人类更快和更明确地掌握某些能力，随着时间的推移，在将人工智能转化为数据时会削弱人类的能力和人类状况本身。
4
人工智能将及时给医学、清洁能源供应、环境问题和许多其他领域带来非凡的好处。但正因为人工智能是对一个不断发展、尚未确定的未来做出判断，其结果中也必然会有不确定性和模糊性。有三个特别令人关切的领域：
首先，人工智能可能会带来意想不到结果。科幻小说已经想象出了人工智能转向创造者的情景。更有可能的是，人工智能会因为其缺乏场景化的能力而误解人类指令。最近一个著名的例子是叫做Tay的人工智能聊天机器人，旨在用一个19岁女孩的语言模式产生友好的对话。但事实证明，该机器无法定义训练员所说的“友好”和“合理”语言的必要性，反而被种族主义、性别歧视和煽动性言论绑架。技术界的一些人声称，这个实验构思不当，执行不力，但它说明了一个潜在的模糊性：在多大程度上可以让人工智能理解其指令的背景？有什么媒介可以帮助Tay在面对一些人们理解并不一致的词语时，定义自己的攻击性？我们能否在早期阶段发现并纠正一个超出预期的人工智能程序？还是说，如果任由人工智能自行其是，它会不可避免地出现微小的偏差，随着时间的推移，这些偏差会演变成灾难性的偏离？
第二，在实现预期目标的过程中，人工智能可能会改变人类的思维过程和价值观。AlphaGo通过采取战略上前所未有的举措击败了世界围棋冠军——这些举措是人类尚未构思出来、也尚未成功学会克服的。这些举措是否超出了人脑的能力？或者说，既然它们已经被一位新的大师证明了，人类能学习它们吗？
在人工智能开始玩围棋之前，这个游戏有着多种多样、层次分明的目的：玩家不仅要想赢，还要学习可能适用于生活其他方面的新策略。相比之下，人工智能只有一个目的：取胜。它不是从概念上而是从数学上通过对算法的边缘调整来“学习”。因此，在学习如何通过与人类不同的方式来赢得比赛时，人工智能改变了比赛的性质和影响。这种一心一意地坚持，是否是所有人工智能的特征？
其他人工智能项目，致力于通过开发能够生成一系列人类查询答案的设备，来改变人类思维。除了事实问题(“外面的温度是多少？”)，关于现实的性质或生命的意义的问题，引发了更深层次的问题。我们想让孩子们通过无约束算法的对话来学习价值观吗？我们应该通过限制人工智能对其提问者的了解来保护隐私吗？如果是，我们如何实现这些目标？
如果人工智能的学习速度比人类快，那么我们必须指望人工智能会以指数级的速度加速人类决策的试错过程：比人类犯错误的速度更快，程度更大。正如人工智能研究人员经常建议的那样，通过在程序中加入要求“合乎道德”或“合理”结果的警告，可能无法缓和这些错误。整个学科都是由于人类无法就如何定义这些术语达成一致而产生的。因此，人工智能应该成为他们的仲裁者吗？
第三，人工智能可能达到预期目标，但无法解释其得出这一结论的理由。在某些领域——模式识别、大数据分析、游戏——人工智能的能力已经超过了人类。如果它的计算能力继续快速复合，人工智能可能很快就能以与人类优化环境的方式略有不同、甚至可能显著不同的方式优化环境。但到了那个时候，人工智能能否以一种人类可以理解的方式解释为什么它的行为是最优的？或者说，人工智能的决策会超越人类语言和理性的解释力吗？在整个人类历史中，文明创造了解释他们周围世界的方法——在中世纪，宗教；在启蒙运动中，理性；19世纪的历史；20世纪的意识形态。关于我们正在走向的世界，最困难但最重要的问题是：如果人工智能超越了人类意识本身的解释能力，而社会不再能够用对他们有意义的语言来解释他们所居住的世界，那么人类意识会变成什么样子？
在一个机器的世界里，机器把人类的经验减少为数学数据，由他们自己的记忆来解释，意识是如何被定义的？谁对人工智能的行为负责？他们的错误应如何确定责任？一个由人类设计的法律体系能跟上人工智能所产生的活动吗？
5
最后，人工智能这个术语可能用词不当。可以肯定的是，这些机器可以解决复杂的、看似抽象的问题，而这些问题以前只产生于人类的认知。但它们所做的独一无二的事情。并不是迄今为止所构思和经历的那样，而是史无前例的记忆和计算。由于人工智能在这些领域的固有优势，它很可能赢得分配给它的任何游戏。但是对于我们人类来说，游戏不仅仅是关于胜利的；也是关于思考的。把一个数学过程当作一个思维过程来对待，或者试图模仿这个过程，或者仅仅接受结果，我们就有失去作为人类认知本质的能力的危险。
最近设计的一个程序AlphaZero 展示了这种演变的含义，它以一种国际象棋史上前所未有的风格，在比国际象棋大师更高级的水平上下棋。仅仅在几个小时的自我游戏中，它就达到了人类用1500年时间才能达到的技术水平。在整个过程中，只给AlphaZero提供了游戏的基本规则 。人类和人类生成的数据都不是其自学过程的一部分。如果AlphaZero能够如此迅速地达到这个目标，那么未来五年的人工智能会在哪里呢？对人类认知的影响是什么？当这个过程的实质是加速选择时，伦理道德在这个过程中的作用是什么？
这些问题通常留给技术人员和相关科学领域的知识分子来解决。人文学科领域的哲学家和其他人帮助塑造了以前的世界秩序概念，但缺乏对人工智能机制的了解，或者被人工智能的能力所吓倒，他们往往处于不利地位。相比之下，科学界不得不探索其成就的技术可能性，而科技界则专注于规模惊人的商业前景。这两个世界的动机是推动发现的极限，而不是理解它们。而治理，就其涉及的主题而言，更有可能调查人工智能在安全和情报方面的应用，而不是探索它已经开始产生的人类状况的变化。
启蒙运动始于一项新技术传播的基本哲学见解。我们的时代正朝着相反的方向发展。它产生了一种潜在的主导技术，寻找一种指导哲学。其他国家已将人工智能作为一项重大的国家项目。美国作为一个国家，尚未系统地探索其全部范围，研究其影响，或开始最终的学习进程。最重要的是，从人工智能与人文传统相关的角度来看，这应成为国家高度优先的事项。
人工智能开发人员在政治和哲学方面，和我在技术方面一样缺乏经验，他们应该问自己一些我在这里提出的问题，以便在他们的工程工作中找到答案。美国政府应该考虑成立一个由杰出思想家组成的委员会，以帮助制定国家愿景。这一点是肯定的：如果我们不尽快开始这项努力，不久我们就会发现我们开始得太晚了。
