玩币族移动版

撰文：Sigal Samuel

来源：Vox

图片来源：由无界 AI工具生成

假如我告诉你，10 年后，你所知道的世界将终结。你将生活在天堂中，没有病痛，没有衰老，也没有死亡。永生将属于你！更棒的是，你的大脑将从不确定性中解脱出来 -- 你将获得完美的知识。你不再被困于地球，你可以生活在天堂。

如果我告诉你这一切，你会认为我是一个宗教传教士还是一个人工智能研究员？

无论哪种猜测都有道理。

越是聆听硅谷关于人工智能的讨论，你就越能听到宗教的回音。因为人们对制造超级智能机器的兴奋，很大程度上是源于宗教思想的再循环。大多数正在构建人工智能的世俗技术专家并没有意识到这一点。

这些技术专家建议通过将我们的思想上传到云端来隐瞒死亡，在那里我们可以永远以数字方式生活。他们把人工智能说成是一个决策机构，可以用数学上的确定性来判断什么是最优的，什么不是。他们将人工通用智能（AGI）-- 一种能在许多领域与人类解决问题的能力相匹配的假想系统 -- 设想为一种努力，如果进展顺利，它能保证人类得救，如果进展不顺，它也会带来灭顶之灾。

这些愿景与基督教末世论的愿景几乎如出一辙，基督教末世论是神学的一个分支，涉及“末世”或人类的最终命运。

基督教末世论告诉我们，我们都将走向“最后的四件事”：死亡、审判、天堂或地狱。那些已经死去的人会在基督第二次降临后复活，找到永生的归宿。我们的灵魂将面临上帝的最终审判，上帝是完美的决策者。如果进展顺利，我们会升入天堂，但如果进展不顺，就会跌入地狱。

五年前，当我开始参加硅谷的会议，并第一次注意到宗教话题和人工智能话题之间的相似之处时，我想到了一个简单的心理学解释。两者都是对人类核心焦虑的回应：死亡；难以判断自己做得对错；我们的人生意义和在这个宇宙 -- 或下一个宇宙 -- 中的最终位置的不可知性。宗教思想家和人工智能思想家只是偶然发现了困扰我们所有人的问题的相似答案。

因此，我惊讶地发现，两者之间的联系远不止于此。

曼哈顿学院宗教研究教授、《Apocalyptic AI》作者 Robert Geraci 说：“宗教与科技的交织已有几个世纪的历史，尽管有人会告诉你，科学是价值中立的，与宗教等事物无关。”“这根本不是真的。从来都不是这样。”

事实上，追溯宗教思想影响的历史学家认为，从中世纪的基督教神学家到文艺复兴时期的经验主义之父，再到未来学家雷 - 库兹韦尔（Ray Kurzweil），再到受他影响的硅谷科技界重量级人物，我们可以画出一条直线。

偶尔，某些人仍会隐约感觉到其中的相似之处。人工智能安全公司 Anthropic 的联合创始人 Jack Clark 今年 3 月在 Twitter 上写道：“有时我认为，人们对 AGI 的狂热是来自世俗文化的错位宗教冲动。”

不过，大多数情况下，将 AGI 视为一种技术末世论的人 -- 从 ChatGPT 制造商 OpenAI 的首席执行官 Sam Altman 到希望将大脑与计算机连接起来的 Elon Musk-- 都是在用世俗语言表达他们的想法。他们要么没有意识到，要么不愿意承认，他们所推进的愿景在很大程度上是与古老的宗教思想相融合的。

但重要的是要知道这些思想的来源。这并不是因为“宗教”在某种程度上是贬义词；思想具有宗教性并不意味着它们有什么问题（事实往往恰恰相反）。相反，我们应该了解这些观念的历史 -- 比如说，虚拟来世作为一种救赎方式，或者道德进步被理解为技术进步 -- 这样我们就会明白，它们并不是一成不变或不可避免的；某些人在某些时候为了某些目的提出了这些观念，但如果我们想要的话，还有其他的观念存在。我们不必陷入单一故事的危险之中。

伦敦玛丽女王大学研究军事人工智能伦理的政治理论家 Elke Schwarz 说：“我们必须谨慎对待我们所接受的叙事。”“每当我们谈论宗教事物时，都会涉及到一些神圣的东西。拥有神圣的东西可能会造成伤害，因为如果某样东西是神圣的，就值得为之做最坏的事情。”

在塑造了西方的亚伯拉罕宗教中，这一切都可以追溯到耻辱。

还记得《创世纪》中发生的事情吗？当亚当和夏娃吃了知识之树上的果实后，上帝将他们逐出伊甸园，并让他们遭受血肉之躯的所有屈辱：劳作与痛苦、出生与死亡。从恩典中堕落之后，人类再也不一样了。在犯罪之前，我们是按照上帝的形象创造的完美生物；而现在，我们成了可怜的皮囊。

但在中世纪，基督教思想家们提出了一个激进的想法，正如历史学家 David Noble 在其著作《科技宗教》（The Religion of Technology）中所解释的那样。如果科技可以帮助我们把人类恢复到亚当堕落前的完美状态呢？

例如，九世纪颇具影响力的哲学家 John Scotus Eriugena 坚持认为，亚当按照上帝的形象塑造的部分意义在于，他是一个创造者，一个制造者。因此，如果我们想把人类恢复到亚当堕落前上帝般的完美状态，我们就必须向自己的这个方面靠拢。Eriugena 写道，“机械艺术”（又称技术）是“人类与神的联系，培养机械艺术是拯救人类的手段”。

这种思想在中世纪的修道院中兴起，“ora et labora”（祈祷与工作）的格言开始在修道院中流传。即使是在所谓的黑暗时代，其中一些修道院也成为了工程学的温床，产生了一些发明，如已知的第一个潮汐动力水轮和冲击钻井。天主教徒成为众所周知的创新者；时至今日，工程师在宗教中有四位守护神。有人说天主教会是中世纪的硅谷，这是有原因的：正如我在 2018 年《大西洋月刊》的一篇文章中指出的那样，从“冶金、磨坊、音乐符号到钟表和印刷术的广泛应用”，天主教会都功不可没。

这不是为了技术而研究，也不是为了利润而研究。相反，科技进步是道德进步的代名词。通过恢复人类最初的完美，我们可以迎来上帝的国度。正如 Noble 写道：“技术已经与超越性相提并论，前所未有地与基督教的救赎思想联系在一起”。

中世纪将科技进步与道德进步相提并论的思想影响了一代又一代的基督教思想家，一直延续到现代。一对巴孔夫妇说明了同样的核心信念 -- 科技将实现救赎 -- 是如何影响宗教传统主义者和那些采用科学世界观的人的。

13 世纪，炼金术士 Roger Bacon 从《圣经》的预言中汲取灵感，试图创造一种生命灵药，以实现类似使徒保罗所描述的复活。Bacon 希望，这种灵药不仅能让人类长生不老，还能让人类拥有神奇的能力，比如以思维的速度旅行。16 世纪，弗朗西斯 - 培根出现了。从表面上看，他似乎与他的前辈大相径庭 -- 他批评炼金术，认为它不科学 -- 但他预言，我们终有一天会利用科技来战胜我们的死亡，“以荣耀造物主，减轻人类的痛苦”。

到了文艺复兴时期，欧洲人敢于梦想，我们可以按照上帝的形象重塑自己，不仅可以逐步实现永生，还可以从无生命的物质中创造出意识。

Schwarz 指出：“除了战胜死亡之外，创造新生命的可能性是一种终极力量。”

基督教工程师创造了自动装置 -- 木制机器人 -- 可以四处走动，说词祈祷。据传，穆斯林创造了能像神谕一样说话的机械头。犹太教民间故事中流传着拉比通过神奇的语言变位，让泥人（被称为 "泥人"）栩栩如生的故事。在这些故事中，泥人有时会拯救犹太人，使他们免受迫害。但在其他时候，泥人也会变节，杀人越货，利用自己的力量为非作歹。

是的，这一切听起来非常熟悉。在数学家兼哲学家 Norbert Wiener 于 1964 年出版的有关人工智能风险的著作《God & Golem, Inc.》和技术专家目前发布的大量公开信中，你也能听到同样的焦虑。他们警告说，AGI 将给我们带来救赎或灭顶之灾。

读到这些言论，你很可能会问：如果 AGI 既威胁着末日，又承诺着救赎，那我们为什么还要创造 AGI 呢？为什么不把我们自己限制在创造更狭义的人工智能上 -- 这已经可以在治疗疾病等应用中创造奇迹 -- 并坚持一段时间呢？

要想知道答案，请随我再回顾一下历史，我们将开始了解最近兴起的三场相互交织的运动是如何塑造硅谷的人工智能愿景的。

很多人都认为，当查尔斯 - 达尔文于 1859 年发表进化论时，所有宗教思想家都立即将其视为一种可怕的异端威胁，认为人类是上帝最虔诚的创造物。但一些基督教思想家却将其视为古老精神预言的华丽新衣。毕竟，宗教思想从未真正消亡，它们只是换上了新装。

一个典型的例子是 Pierre Teilhard de Chardin，他是一位法国耶稣会教士，在 20 世纪初还研究过古生物学。他认为，在科技的推动下，人类的进化实际上是实现上帝国度的载体，人类与机器的融合将导致智能的爆炸，他称之为欧米茄点。我们的意识将进入“超意识状态”，在这种状态下，我们与神融为一体，成为一个新的物种。

正如作家 Meghan O'Gieblyn 在其 2021 年出版的《上帝、人类、动物、机器》一书中所记录的那样，进化生物学家赫胥黎曾是英国人文主义协会和英国优生学会的主席，也正是赫胥黎推广了 Teilhard 的观点，即我们应该利用科技来进化我们的物种，并称之为“超人类主义”。

这反过来又影响了未来学家 Ray Kurzweil，他做出了与 Teilhard 基本相同的预测：我们即将迎来人类智能与机器智能融合的时代，人类智能将变得无比强大。只不过 Kurzweil 没有把它称为“欧米茄点”，而是重新命名为“奇点”。

Kurzweil 在 1999 年出版的全美畅销书《灵机时代》中写道：“人类及其创造的计算技术将能够解决古老的问题……并将在后生物学的未来改变死亡的本质。”（强烈的新约气息。根据《启示录》：“死亡不再有，也不再有哀伤、哭泣和痛苦，因为以前的事都过去了。”）

Kurzweil 承认这两者在精神上有相似之处，那些围绕崇拜人工智能或利用人工智能让人类走向虔诚而形成明确宗教运动的人也承认这一点，从 Martine Rothblatt 的 Terasem 运动到摩门教超人类协会，再到 Anthony Levandowski 昙花一现的“未来之路”（Way of the Future）教会。但也有很多人，比如牛津大学哲学家 Nick Bostrom，坚持认为超人类主义与宗教不同，它依靠的是“批判理性和我们现有的最佳科学证据”。

如今，超人类主义有了一个姊妹，另一个诞生于牛津并在硅谷火爆的运动：有效利他主义（EA），其目标是找出如何为最多的人做尽可能多的好事。有效利他主义者也说他们的方法植根于世俗的理性和证据。

然而，有效利他主义实际上在很多方面都与宗教如出一辙：功能上（它汇集了一个围绕着共同的道德生活愿景而建立的团体）、结构上（它有先知领袖的等级制度、经典文本、节日和仪式）以及美学上（它提倡什一奉献并赞成禁欲主义）。最重要的是，它提供了一种末世论。

有效利他主义的末世论是以其最具争议性的观点 -- 长期主义?-- 的形式出现的，马斯克曾将其描述为“与我的哲学非常吻合”。它认为，帮助最多人的最佳方式是集中精力确保人类在遥远的未来（比如数百万年后）生存下去，因为未来可能存在比现在更多的数十亿人 -- 前提是我们的物种不会首先灭绝。

从这里我们开始得到关于为什么技术专家致力于构建 AGI 的问题的答案。

对于有效利他主义者和长期主义者来说，仅仅坚持狭隘的人工智能是不可取的。牛津大学哲学家 Will MacAskill 被称为有效利他主义和长期主义的“不情愿的先知”。他在 2022 年出版的《我们欠未来什么》（What We Owe the Future）一书中解释了为什么他认为技术进步的停滞是不可接受的。他写道：“停滞不前的时期，”“可能会增加灭绝和永久性崩溃的风险”。

他引用他的同事 Toby Ord 的话说，据他估计，在下个世纪，人类因流氓 AI 和被设计的疫情等风险而灭绝的概率是六分之一。EA 的另一位同行 Holden Karnofsky 同样认为，我们正生活在“历史的转折点”或“最重要的世纪”-- 人类故事中的一个特殊时期，在这个时期，我们要么前所未有地蓬勃发展，要么自取灭亡。MacAskill 和马斯克一样，在书中建议，避免灭绝的好办法是在其他星球上定居，这样我们就不会把所有鸡蛋都放在一个篮子里。

但这只是 MacAskill“太空定居的道德理由”的一半。另一半理由是，我们应该努力使未来的人类文明尽可能大，尽可能乌托邦。正如 MacAskill 在牛津大学的同事 Bostrom 所言，“宇宙殖民”将为我们提供面积和资源，让我们可以运行数量庞大的数字模拟，让人类过上幸福的生活。空间越大，幸福的（数字）人类就越多！这就是绝大多数道德价值所在：不在地球上的现在，而在天堂里的未来……抱歉，我是说“虚拟来世”。

当我们把所有这些想法放在一起并加以归纳时，就会得出这样一个基本命题：

任何研究宗教的人都能一眼看出这是什么：世界末日逻辑。

超人类主义者、有效利他主义者和长期主义者继承了这样一种观点：末日即将来临，技术进步是我们文明进步的最佳机会。对于按照这种逻辑行事的人来说，追求 AGI 似乎是理所当然的。尽管他们认为 AGI 会带来极大的生存风险，但他们认为我们不能不建造 AGI，因为它有可能将人类从岌岌可危的地球青春期（随时都会结束！）推向繁荣昌盛的星际成年期（这么多幸福的人，这么多文明价值！）。我们当然应该在技术上向前迈进，因为这意味着在文明上向前迈进！

但是，这植根于理性和证据吗？还是根植于教条？

这里隐藏的前提是技术决定论，再加上一点地缘政治。这种想法认为，即使你我没有创造出强大到令人恐怖的人工智能，也会有其他人或其他国家创造出来 -- 那么为什么要阻止我们自己参与其中呢？OpenAI 的 Altman 就是科技必然向前发展这一信念的典范。他 2017 年在自己的博客上写道：“除非我们先毁灭自己，否则超人的人工智能就会出现。”为什么？“正如我们所学到的，如果物理定律不阻止，科学进步最终会发生。”

我们学到了吗？我没有看到任何证据表明，任何可以发明的东西一定会被发明出来。（正如《人工智能的影响》首席研究员 Katja Grace 所写的那样：“考虑一下向你的眼睛喷屎的机器。我们可以在技术上做到这一点，但可能从来没有人制造过这种机器。”）人们似乎更倾向于在强大的经济、社会或意识形态压力推动下追求创新。

在硅谷掀起的 AGI 热潮中，以超人类主义、有效利他主义和长期主义为幌子的再造宗教思想提供了社会和意识形态压力。至于经济和盈利压力，在硅谷一直都存在。

路透社 5 月份的一项民意调查显示，现在有 61% 的美国人认为人工智能可能会威胁人类文明，这种看法在福音派基督徒中尤为强烈。对于宗教研究学者 Geraci, 来说，这并不令人惊讶。他指出，世界末日逻辑“在美国基督教新教中非常、非常、非常强大”-- 以至于目前每 10 个美国成年人中就有 4 个相信人类生活在末世。

不幸的是，世界末日逻辑往往会滋生危险的狂热主义。在中世纪，当假弥赛亚出现时，人们会放弃世俗的财产去追随他们的先知。如今，随着有关人工智能末日的言论充斥媒体，真正的信徒们从大学辍学，去研究人工智能的安全性。末日或救赎、天堂或地狱的逻辑促使人们冒着巨大的风险 -- 全情投入。

在去年接受我的一次采访时，MacAskill 否认了极端的赌博行为。他告诉我，在他的想象中，硅谷的某类科技兄弟，认为有 5% 的几率会死于 AGI 灾难，而有 10% 的几率 AGI 会带来幸福的乌托邦，他们会愿意承担这些几率，匆忙建造 AGI。

MacAskill 告诉我：“我不希望这样的人建造 AGI，因为他们对道德问题毫无反应。”“也许这意味着我们必须推迟奇点的到来，以使其更加安全。也许这意味着奇点不会在我有生之年出现。这将是一个巨大的牺牲。”

当 MacAskill 告诉我这些的时候，我想象出了一个摩西的形象，他眺望着应许之地，却知道自己无法到达。长期主义的愿景似乎要求他有一种残酷的信念：你本人不会得救，但你的精神后裔会得救。

相信科技可以从根本上改善人类的命运，这本身并没有错。在许多方面，它显然已经做到了。

拥有两个博士学位并在维拉诺瓦大学担任神学教席的 Ilia Delio 告诉我：“技术不是问题。”事实上，Delio 对我们已经处于新的进化阶段、从智人转变为“技术智人”的观点感到欣慰。她认为，我们应该以开放的心态，在科技的帮助下积极主动地进化。

但她也清楚，我们需要明确哪些价值观在影响着我们的技术，“这样我们才能有目的 -- 有道德底线地开发技术，”她说。否则，“技术就是盲目的，具有潜在的危险性”。

Geraci 对此表示赞同。他告诉我：“如果硅谷的很多人都说，‘嘿，我支持这项技术，因为它能让我长生不老’，那就有点可怕了。”“但如果有人说，‘我支持这项技术，因为我认为我们可以用它来解决世界饥饿问题’-- 这是两种截然不同的动机。这将影响到你试图设计的产品类型、你为之设计的人群，以及你试图在你周围的世界中部署它的方式。”

在深思熟虑地决定科技的价值取向的同时，还要敏锐地意识到谁拥有决定权。Schwarz 认为，人工智能的设计者向我们兜售了人工智能带来的必要科技进步的愿景，并将自己塑造成这方面的唯一专家，这使得他们拥有巨大的权力 -- 可以说比我们民主选举产生的官员更有权力。

“发展人工智能是一种自然法则的观点成为了一种排序原则，而这种排序原则是政治性的。它将政治权力赋予了某些人，而其他大多数人的权力则小得多，”Schwarz 说。“对我来说，说‘我们必须非常小心地对待 AGI’，而不是说‘我们不需要 AGI，这不在讨论之列’，很奇怪。但我们已经到了这样一个地步，权力以一种甚至不给我们选择的方式得到了巩固，我们甚至可以集体建议不应该追求 AGI。”

我们之所以走到这一步，在很大程度上是因为在过去的一千年里，西方陷入了单一故事的危险之中：我们从中世纪宗教思想家那里继承下来的故事，将科技进步等同于道德进步。

Delio 说：“这是我们唯一的叙事方式。这种叙事方式让我们倾向于听从技术专家（过去，他们也是精神权威）的意见，将价值观和假设融入他们的产品中。”

“替代方案是什么？如果另一种说法是‘活着的活力本身就是目标’，”Delio 补充道，“那么我们对技术的期望可能会完全不同。”“但我们没有这种说法！我们的主流叙事是创造、发明、制造，并让它们改变我们。”

我们需要决定我们想要什么样的救赎。如果我们对人工智能的热情来自于对超越地球极限和肉体死亡的憧憬，那将会产生一种社会结果。但如果我们致力于利用科技来改善这个世界和这些躯体的福祉，我们就能获得不同的结果。正如 Noble 所说，我们可以“开始将我们惊人的能力引向更加世俗和人道的目的”。