有些人老操心，要是中国赢了，会强加给美国一套新制度 长运官网

近年来，人工智能正从简单的聊天工具，逐渐发展为能够自主规划任务、编写代码乃至执行复杂操作的智能体。与此同时，AI失控风险、开源模型的安全隐患以及科技巨头之间愈演愈烈的竞争，也引发了越来越多的担忧。假设几年之后，有两家公司正在激烈竞争，而它们的重大商业战略决策都已经开始依赖人工智能的建议。一方面，企业之间存在竞争，国家之间也存在竞争。但这也是为什么我认为，我们必须改善中美两国之间的关系。因此，至少在最低限度上，我认为，即使人工智能最终变得极其强大，甚至成为超级智能，我们也应该努力确保人类与它之间始终保持一种非零和关系。他们可能会说：“我们担心，如果中国赢得了人工智能竞赛，就会对我们构成生存威胁。而这恰恰是一场你可能会认为由神向人类提出的考验。：您在书中描绘了两种截然不同的未来：一种是“AI天堂”，另一种是“AI地狱”。但是，每当美国有人提出应该通过监管来放慢人工智能的发展速度时，情况就不同了。但我认为，人工智能的出现意味着技术演化正在跨越一个真正重要的门槛，主要有两个原因。首先，我们正在创造一种基于硅的智能存在，其智能水平似乎已经能够与生物演化最令人惊叹的创造物——也就是我们人类——相媲美。这是书名的一层含义。另一方面，它正在进一步强化推动人类社会组织向更高层次发展的内在逻辑。另一方面，为了实现这一目标，或者从更广泛的意义上说，为了明智、妥善地治理这项技术，我们人类自身必须通过一场道德考验。我认为，我们失去维持这种关系的机会，可能比一些人现在意识到的要快得多。罗伯特·赖特 ：这个书名其实有不止一层含义。所以，从这两个意义上说，人工智能都代表着一个重要的历史门槛。如果AI在执行任务的过程中遇到障碍，客户希望它能够自己想办法绕过去，找到实现目标的途径。而我认为，只有实现这样的进步，我们才能建立起治理人工智能所需要的国际合作。当然，如果我们希望明智地治理人工智能，中国和美国无疑是最需要进行协调的两个国家。换句话说，我们希望创造出的这种强大智能，能够与人类的繁荣和福祉相容。因为现有模型实际上已经相当强大了。但据我所知，我认为这些恐惧并没有充分的依据。他认为，当前AI发展速度过快，中美两国必须加强协调，而人类能否克服认知偏见、学会合作，将决定AI最终带来繁荣还是灾难。【对话/ 郑乐欢】。AI天堂还是AI地狱。也就是说，一些已经开发完成、但尚未发布的模型，实际上可能造成比我们目前看到的更严重的危害。即使我们现在还没有走到这一步。因为它会努力实现自己的目标，并想方设法绕过障碍。”这就是它们经常打出的一张牌。人工智能越擅长完成这样的任务，它的自主性就越强。所以，我确实认为我们发展得太快了。而且，可能用不了多久，它们甚至就能在实际操作层面上实现自我复制，并且不再完全受我们控制。事实上，美国社会对中国存在相当强烈的恐惧情绪。这场考验类似于不同宗教传统中，神对人类提出的考验。一种是企业之间的竞争。于是，他只能选择相信AI。：随着人工智能越来越擅长制定计划、自主完成任务，我们也在赋予它越来越大的行动自由。在这种情况下，虽然从形式上看，你并没有把决策权交给人工智能，但实际上，AI已经在替你作决定了。但他又觉得自己不能犹豫，因为竞争太激烈了。有时候，一些事情发生之后，会突然引起公众的关注，进而改变人们的看法。所以，一方面，我们可能正在面临创造一个“善良的、具有神一般力量的存在”的考验，确保它与人类的福祉相容。：您在书中也讨论了这个问题。向一个你信任的人工智能征求建议，与真正把决策权交给人工智能，两者之间可能只有非常微妙的区别。换句话说，我们不能让AI拥有这样一种选择：即使完全无视人类的利益，它仍然能够继续发展壮大。您认为，决定我们最终走向哪一种未来的最关键因素是什么。例如，我完全能够理解，为什么中国人可能把美国限制芯片出口的措施，看作一种纯粹的进攻性、侵略性行为。例如，交通技术和信息技术的发展使我们拥有了全球经济。而自主性越强，它也就可能越危险。如今，越来越多人开始担心，人工智能是否正在成为一种超越普通工具的存在。但问题是，该怎么做到这一点。其中一个原因是，鼓励民众害怕外部势力，对政治人物而言往往是有利的。因此，人工智能实际上正在推动人类社会组织继续向更高层次发展。罗伯特·赖特 ：是的，我认为我们现在的发展速度确实太快了，这对人类自身并没有好处。这正是我们在创造越来越自主、越来越善于创造性地追求目标的AI时，必须面对的风险。如今，AI已经不只是回答问题，还能编写代码、使用工具，甚至自主完成任务。但问题就在这里。另一方面，不同国家对人工智能风险的认识并不相同。一方面，它是一种新的智能存在，其智能水平已经能够与人类相媲美，甚至在某些方面超过了人类。不过，我还是想进一步请教一下，为什么您会把这本书命名为《造神之后》。至少美国行政部门，尤其是总统本人，并不认为这是一个需要担忧的问题。当人们越来越能够理解他人的立场时，这本身就是一种道德进步。不过，我认为人们的态度可能发生非常迅速的变化。如果你和这些公司内部的人交流，他们会告诉你，这些模型的能力非常强大。但我认为，这个书名更重要的含义在于：作为一个物种，人类自身正在接受一场考验。：我读了您的新书《造神之后》（英文名，The God Test）。但拥有最大权力的那个人，也就是总统，却并不这么认为。两者具有一些共同特征，比如都倾向于推动事物向更高层次的复杂性发展。这个书名究竟意味着什么。首先，很多人认为，我们正在创造一种超级智能。很明显，我们现在已经无法完全控制人工智能。如今，各国政府和科技公司都在竞相开发更强大的人工智能。其中一个重要方面，就是我们必须确保自己对于人工智能而言仍然是不可或缺的。其中一家公司的负责人发现，竞争对手似乎正在取得领先，于是向自己的AI寻求建议。它们正在做一些人类根本无法完成，或者至少无法如此轻易完成的事情。坦率地说，我并不认为，目前与中国的竞争是推动美国人工智能企业取得技术进步的主要动力。至于它们在多大程度上真心相信这种说法，我并不清楚。而我认为，未来我们将迫切需要这种凝聚力。有些人可能更加真诚地相信这一点，另一些人则未必如此。OpenAI和Anthropic是美国两家大型人工智能公司，它们的企业客户希望AI能够长时间持续执行一项任务，而且能够创造性地完成任务。“造神之后”，人类是否正在失去对人工智能的控制。这时候，很可能出现一种情况：AI提出的方案太过复杂，以至于公司的负责人根本无法完全理解其中的逻辑。当然，从更广泛的角度来看，很多国家都容易对外部威胁产生过度恐惧。如果我们希望明智地治理人工智能，就必须作为一个具有凝聚力、团结一致的全球共同体来行动。在许多宗教经典中，我们都能看到类似的思想：一个社会有可能获得救赎，也有可能走向繁荣，但前提是人类必须在道德上有所进步，更加接近道德真理。”。刚才您也提到，我们或许需要放慢AI的发展速度。我认为，我们现在面临的正是这样一场考验。我们都知道，人工智能可能极大改善人类生活，但也可能带来非常严重的问题。考虑到人工智能给我们带来的种种挑战，我认为，如果我们希望妥善应对这项技术，就必须通过国际合作来实现。尤其是在企业之间、国家之间存在激烈竞争的环境下，这种风险会进一步加剧。因为这种恐惧会促使人们支持他们。但你必须尽快采取行动，因为形势变化得非常快。因为激烈的竞争会催生某种不计后果的冒进行为，而我认为，OpenAI在这起事件中恰恰表现出了这种倾向。好消息是，至少在美国，越来越多的人开始对此感到警惕，社会上也出现了越来越多关于加强人工智能治理和监管的讨论。中国可能会把一种新制度强加给我们。您在书中将人工智能的发展放在人类乃至整个生命演化的历史中加以考察。而且，这条界限本身就是模糊的。因为，要实现治理人工智能所必需的全球合作，人类就必须经历某种道德上的进步。至少根据我目前读到的有关中国社会态度的资料来看，现阶段美国对人工智能发展速度的担忧似乎比中国更强烈。您认为，我们是否正在见证智能演化进入一个全新的阶段。您认为，我们是否正在以一种对人类自身不利的速度发展AI。而目前，这种不信任仍然非常严重。例如，它们能够解决复杂的数学问题，也能够以人类难以实现的方式入侵计算机系统。因此，我们现在就应该开始认真思考这个问题。因此，我认为，美国人对于来自其他国家的威胁，往往有一种被夸大的认知，其中当然也包括对中国的威胁认知。它可能拥有近乎神一般的力量，甚至在某个阶段能够治理整个星球。现在的技术进步速度确实有点太快了。而技术演化则进一步推动人类社会组织向更高层次发展。在这个过程中，它可能最终违反规则，甚至做出危险的事情。我知道自己一直在重复这个观点，但我确实认为它非常重要。今年6月，美国作家、曾在普林斯顿大学任教的进化心理学研究者罗伯特·赖特（Robert Wright）出版新书《造神之后》（The God Test）。举个例子。罗伯特·赖特 ：我认为，决定我们最终走向美好未来还是糟糕未来的关键，在于我们能否避免在激烈竞争的环境中作出有关人工智能的重大决策。因此，我确实认为，从长远来看，美国政府和中国政府会越来越意识到，双方在人工智能治理方面拥有共同利益，也需要加强协调。因为在我看来，中国似乎并没有打算把自己的制度强加给其他国家。不过，眼下美国政府似乎也没有把这个问题看得特别严重。如果你身处一场自己认为必须获胜的竞赛，那么你实际上能够作出的选择就会大大减少。不过，我确实认为，人类应该始终把保持最终控制权作为一个目标。要知道，这些人工智能公司实际上已经开发出了更加强大的模型，只是还没有向公众发布。您认为，我们应该如何划定AI自主决策与人类决策之间的界限。因此，《造神之后》的第一层含义是：我们有责任创造一种与人类福祉相容的人工智能，创造一种不会损害我们这个物种利益的智能。竞争越激烈，你就越会觉得，有些事情是自己不得不做的，因为只有这样才能继续参与竞争。罗伯特·赖特 ：我认为，这些都是我们应该认真对待的警告信号。恕我这样说，我认为人类确实是生物演化最令人惊叹的成果。但在社会和政治层面，我们还远远没有形成与全球经济相匹配的凝聚力。其次，我认为人工智能将进一步强化一种趋势，那就是推动人类社会组织向更高层次发展。只要有人提出可能减缓AI发展的安全监管措施，这些公司就会说：“我们不能放慢速度，因为我们正在与中国竞争。然而，这种担忧在美国确实相当普遍。当然，目前已经发布的模型还没有强大到足以让这种失控演变成一场彻底的灾难。AI告诉他：“好吧，你应该这样做。从某种意义上说，技术演化可以被视为生物演化的延伸。在这本书中，他将人工智能置于数十亿年的生命演化历史中，认为AI的出现可能标志着智能演化进入一个全新阶段，而人类也将面临一场前所未有的考验。即使未来我们需要依赖人工智能，也必须让人工智能在某种程度上继续依赖我们。但如果你去问华盛顿那些支持这些限制措施的人，为什么要这么做，他们往往会把这些政策描述成一种防御性措施。所以，已经有足够多的迹象表明，我们现在就必须着手解决人工智能的控制问题。但这些事件提醒我们，如果还没有学会如何控制这些机器，就应该放慢脚步，花更多时间来开发和测试它们，确保我们知道如何治理它们，然后再推出更加强大的模型。但实际上，人类从未真正形成过这样的全球共同体，国家之间始终存在战争和深刻的冲突。我们必须更加善于从其他群体、其他人的角度看待问题，包括那些我们目前可能视为对手的人。但问题在于，要找到一种让发展速度慢下来的方法，并不容易。：您在书中谈到，即使人们已经意识到风险，竞争仍然会不断推动人工智能向前发展。在赖特看来，人工智能发展的最大挑战不仅在于技术本身，更在于国家之间的竞争与不信任。近期，对话罗伯特·赖特，围绕AI自主性与失控风险、开源与闭源之争、中美AI竞争、技术红利分配以及全球治理等问题展开讨论。罗伯特·赖特 ：是的，我认为确实如此。罗伯特·赖特 ：说实话，很难确定我们在实际操作中究竟能够划出一条什么样的界限。当机器变得越来越聪明，人类是否正在失去对技术发展的控制权。而且，我还是那个观点：发展得慢一些会更好。而现在，我们创造出的机器竟然能够在智能方面与人类竞争，这本身就是一件非常了不起的事情。我之所以花这么多时间谈论这个问题，是因为我确实认为，从长远来看，要制定理性的人工智能政策，唯一的办法就是减少国家之间的不信任。但如果其中一个国家暂时并不认为人工智能的发展速度是一个严重问题，那么双方就很难展开协调。目前，我认为有两种竞争正在推动美国人工智能企业采取冒进的行为。赖特长期关注演化心理学、国际政治与人类社会发展。生物演化创造了细胞、多细胞生物，最终形成了社会。一些人对此感到担忧，因为他们认为，一旦人工智能拥有如此强大的力量，它未必会善待人类。”。美国确实存在很多针对中国的恐惧。另一种则是国家之间被感知到的竞争。这正是此前那起著名的OpenAI模型突破限制事件，也就是所谓的“Hugging Face事件”中发生的情况。技术演化在一定程度上已经推动了这一进程。当然，美国有很多人对此感到担忧，国会中也有不少人持这样的看法。只有这样，美国人才能减轻目前感受到的那种威胁。竞争会削弱人类自主作出选择的能力。我认为，这种恐惧可能比中国人意识到的还要严重。所以，这条界限从一开始就是模糊的。过去三四个月，甚至五个月里，美国社会对人工智能的态度已经发生了很大变化。在生活中的很多领域都是如此。但这里有一个非常重要的问题：人工智能失控的风险，恰恰来自市场最希望它具备的那些能力。如果人工智能最终真的成为某种类似神的存在——当然，我们现在还不知道它是否会发展到这一步，这在一定程度上也取决于我们是否允许它这样发展，以及我们能否控制它——那么，创造一个“善良的神”，显然符合人类自身的利益。