本文第一部分将重点介绍硬件在元宇宙中的作用。在这里，硬件被定义为用于访问、交互或开发元宇宙的物理技术和设备的销售和支持。这包括但不限于面向消费者的硬件，例如 VR 耳机、手机和触觉手套。以及企业硬件，例如用于操作或创建虚拟或基于 AR 的环境的那些例如工业相机、投影和跟踪系统以及扫描传感器。此类别不包括计算专用硬件，例如 GPU 芯片和服务器，以及网络专用硬件，例如光纤布线或无线芯片组。 消费硬件 每年，消费硬件都受益于更好、更强大的传感器、更长的电池寿命、更复杂/更多样化的触觉、更丰富的屏幕、更清晰的摄像头等。我们还看到越来越多的智能设备，例如手表、VR 耳机（AR眼镜）。尽管软件提供了实际体验或「魔力」，但所有这些进步都增强并扩展了用户沉浸感。作为一个有限的例子，考虑一下实时头像应用程序，例如 Bitmoji、Animoji 和 Snapchat AR。这些取决于功能相当强大的 CPU/GPU，以及复杂的软件。但它们也需要功能强大的面部跟踪摄像头和不断改进的传感器硬件，并且得到了丰富。较新的 iPhone 机型现在可以通过红外传感器跟踪您脸上的 30,000 个点。虽然这最常用于 Face ID，但它现在可以连接到 Epic Games 的 Live Link Face 应用程序等应用程序，从而使任何消费者都可以创建和流式传输基于虚幻引擎的实时高保真头像。很明显，Epic 的下一步将是使用此功能将 Fortnite 玩家的脸实时映射到他们的游戏角色上。
与此同时，Apple 的 Object Capture 使用户能够在几分钟内使用标准版 iPhone 中的照片创建高保真虚拟对象。然后可以将这些对象移植到其他虚拟环境中，从而降低成本并提高合成商品的保真度，或者叠加到真实环境中以实现艺术、设计和其他 AR 体验。 许多新的智能手机，包括 iPhone 11 和 iPhone 12，都配备了每秒发射 500,000,000 个雷达脉冲的新型超宽带芯片和处理返回信息的接收器。这使智能手机能够创建广泛的雷达地图，从您的家到办公室，再到您正在步行的街道，并将您放置在这些地图中，相对于其他本地设备，精确到几厘米。这意味着当您从外面接近时，您的家门可以解锁，但从里面保持关闭。使用实时 RADAR 地图，您无需摘下 VR 头显，就能在家里的大部分地方导航。
所有这一切都可以通过标准的消费级硬件实现，这令人惊讶。这一功能在我们日常生活中的作用越来越大，这解释了为什么 iPhone 能够将其平均销售价格从 2007 年的大约 450 美元提高到 2021 年的超过 750 美元，而不仅仅是以相同的价格提供更大的功能。
XR 耳机是硬件进步和突出需求的另一个很好的例子。第一款消费级 Oculus（2016 年）的分辨率为每眼 1080×1200，而四年后发布的 Oculus Quest 2 的分辨率为每眼 1832×1920（大致相当于 4K）。 Palmer Luckey 是 Oculus 的创始人之一，他认为 VR 需要两倍以上的分辨率才能克服像素化并成为主流设备。 Oculus Rift 的刷新率也达到了 72hz 的峰值，而最新版本达到了 90hz，当通过 Oculus Link 连接到游戏 PC 时，最高可达 120hz。许多人认为 120hz 是避免某些用户迷失方向和恶心的最低阈值。理想情况下，这将在不需要游戏级 PC 和系绳的情况下实现。 
虽然人类平均可以看到 210°，但微软的 HoloLens 2 显示器仅覆盖 52°（从 34° 增加）。 Snap 即将推出的眼镜只有 26.3°。要起飞，我们可能需要更广泛的覆盖范围。这些主要是硬件挑战，而不是软件挑战。更重要的是，我们需要在取得这些进步的同时提高可穿戴设备内部其他硬件，例如扬声器、处理器、电池的质量——最好也缩小它们。 
另一个例子是谷歌的 Starline 项目，这是一个基于硬件的展台，旨在让视频对话感觉就像你和其他参与者在同一个房间里，由十几个深度传感器和摄像头提供支持，以及一个基于织物的、多立体光场显示和空间音频扬声器。这是使用体积数据处理和压缩实现的，然后通过 webRTC 交付，但硬件对于捕获和呈现「看起来真实」的细节水平至关重要。 非消费硬件 鉴于消费级设备的可能性，工业/企业硬件的价格和尺寸的倍数会令人震惊也就不足为奇了。徕卡现在销售价值 20,000 美元的摄影测量相机，其「每秒激光扫描设置点」高达 360,000，旨在以比普通人亲眼所见的更清晰和细节捕捉整个商场、建筑物和家庭。与此同时，Epic Games 的 Quixel 使用专有相机生成由数百亿像素精确三角形组成的环境“MegaScans”。
这些设备使公司能够更容易、更便宜地生产高质量的「镜像世界」或「数字孪生」物理空间，以及使用现实世界的扫描来生产更高质量和更便宜的幻想世界。 15 年前，我们对 Google 能够捕获并资助世界上每条街道的 360° 2D 图像的能力感到震惊。今天，许多企业可以购买 LIDAR 相机和扫描仪来构建完全身临其境的 3D 摄影测量复制地球上的任何事物。当这些相机超越静态图像捕捉和虚拟化，进入现实世界的实时渲染和更新时，它们变得特别有趣。例如，今天，Amazon Go 零售店的摄像头将通过代码同时跟踪数十名消费者。未来，这种跟踪系统将用于在虚拟镜像世界中实时再现这些用户。诸如谷歌 Starline 之类的技术将允许远程工作人员从一种离岸「元宇宙呼叫中心」——或者可能在家中在他们面前「出现」在商店或博物馆、DMV 或赌场中。
当您去迪斯尼乐园时，您或许可以在家中看到朋友的虚拟甚至机器人形象，并与他们合作打败奥创或收集无限宝石。这些体验需要的不仅仅是硬件——但它们是通过它来限制、启用和实现的。 本文第二部分将重点介绍计算在元宇宙中的作用。在这里，计算被定义为支持元宇宙的计算能力的启用和供应，支持物理计算、渲染、数据协调和同步、人工智能、投影、动作捕捉和翻译等多样化和要求苛刻的功能。 预估对更高计算能力的需求 在硬件和网络类别中，我仅查看了作为元宇宙的一部分生成、发送和接收的增量数据的一部分，例如触觉、面部扫描和实时环境扫描。整个范围将大几个数量级。
例如，Nvidia 的创始人兼首席执行官 Jensen Huang 将沉浸式模拟的下一步视为比更逼真的爆炸或街头赛车更重要的事情。相反，它是粒子物理学、重力、电磁、电磁波，[包括]光和无线电波……压力和声音的定律的应用。正如虚拟世界得到增强一样，真实世界也将得到增强。每年，越来越多的传感器、摄像头和物联网芯片将被集成到我们周围的物理世界中，其中许多将实时连接到一个可以交互的虚拟模拟器。同时，我们的个人设备将作为我们通向这些体验的通行证和兼职制造者。简而言之，我们周围世界的大部分地区将不断互联和在线，包括我们。总的来说，元宇宙将拥有人类历史上最大的持续计算需求。计算现在并且很可能仍然非常稀缺。引用 Andreessen Horowitz 普通合伙人 Chris Dixon 的话，“历史上，世界上每一种优秀的计算资源都曾供不应求……CPU 能力确实如此。 GPU 能力确实如此。”因此，计算能力的可用性和发展将限制和定义元宇宙，即使最终用户不会意识到这一点。如果无法使用，您可以接收多少数据、多快或为什么都无关紧要。
考虑当今最流行的类似元宇宙的体验，例如 Fortnite 或 Roblox。虽然这些平台通过令人难以置信的创造性成就取得成功，但重要的是要认识到它们的基本想法远非新 - 它们只是新的可能。长期以来，开发人员一直在想象在单个共享模拟中与数十名实时玩家（如果不是数百或数千）以及仅受想象力约束的虚拟环境的体验。 直到 2010 年代中期，数以百万计的消费级设备才能在一场比赛中处理 100 名真实玩家的游戏，而且价格合理的服务器端硬件可用，并且能够近乎实时地同步这些信息.一旦这一技术壁垒被打破，游戏行业很快就被专注于丰富的 UGC 和大量并发用户的游戏（自由射击、PUBG、堡垒之夜、使命召唤：战区、Roblox、我的世界）所取代。然后这些游戏迅速扩展到以前「仅限 IRL」的媒体体验，例如 Fortnite 中的 Travis Scott 音乐会，或 Roblox 中的 Lil Nas X。 然而，即使在大逃杀类型出现四年后，仍然需要一些技巧来确保它的工作。例如，大多数玩家从未真正在一起。相反，它们分散在一张大地图上。这意味着，虽然服务器需要跟踪每个玩家在做什么，但每个玩家的设备不需要渲染它们或跟踪/处理他们的动作。当 Fortnite 确实将玩家聚集到一个更狭窄的空间进行社交活动（例如音乐会）时，它会将参与者数量减少到 50，并限制了他们与标准游戏模式相比可以做什么。而对于处理器功能较弱的用户，则需要做出更多妥协。几年前的设备会选择不加载其他玩家的自定义服装（因为它们不会影响游戏玩法），而只是将它们表示为库存角色。值得注意的是，Free Fire 仅适用于移动设备，主要在新兴市场的中低端 Android 上播放，其主战大逃杀模式的上限为 50。
这让我想知道这些类型游戏的未来发展将走向何方，而我们今天不可能构建。我们的峰值是 Fortnite 的 1070 万玩家——但那是 100,000 个百人游戏。我们最终能否将它们全部放在这个共享的世界中？那种体验会是什么样子？由于技术的不断上升趋势，甚至还无法发明全新的流派。 - 蒂姆·斯威尼 (2019)
这当然会慢慢解决。使命召唤：战区在 2019 年提供了 150 名玩家的比赛,尽管仅限于更高功率的游戏机和 PC；使命召唤移动版仅限于 100。 Roblox 还允许 200 名玩家进入其相对较低保真度的世界，其中多达 700 名可能在 Beta 测试中（承诺超过 1,000 名）。 Improbable 已经对 4,000 人进行了公开测试。但更多并发用户并不是我们计算设备的唯一需求。我们希望 Fortnite 中的角色拥有更多可定制的物品，而不仅仅是服装和背包。分开的鞋子和帽子怎么样？能够参加虚拟音乐会，而不是仅仅从一个基本上没有互动的、封闭的区域参加一场音乐会？回到之前的示例，只有不到 1% 的台式机或笔记本电脑 Mac 和 PC 甚至可以在其最低保真度设置下播放 Microsoft Flight Simulator。即使是微软的下一代 Xbox 游戏机，即在标题发布两个月后发布的 Series S 和 Series X 也不支持它，尽管它们将在今年晚些时候支持。 这并不意味着所有以元宇宙为中心的体验都需要丰富的、即时的处理（想想拟物化的会议室），更不用说所有时间了，沉浸式体验在保真度更高的情况下更好，但能够从更多设备访问它们是比只能从您最好的设备访问它们要好。
但人类历史表明，额外的计算能力总是会带来进步——这正是计算需求总是超过其供应的原因。为此，黄仁勋想要效仿上帝的神性设计的愿望似乎有些过分和不切实际，但这需要预测和摒弃可能由此产生的创新。 在哪里定位和建立计算 在解决我们对计算不断增长的需求及其相对稀缺性方面，有几种不同的思想流派。一种是将尽可能多的模拟处理集中在云中，而不是在本地计算设备上。例如，Google Stadia 和 Amazon Luna 在云端处理所有视频游戏，然后将整个渲染体验作为视频流推送到用户的设备上。客户端设备唯一需要做的就是播放此视频并发送输入（例如向左移动，按 X）。这种方法的支持者喜欢强调通过电网和工业发电厂为我们的家庭供电的逻辑，而不是私人的、家庭专用的发电机。基于云的模型允许消费者将他们的消费级、很少升级和零售商标记的计算机替换为企业级「计算荒谬」（引用杰夫贝索斯）机器，每单位处理能力更具成本效益并且更容易更换。这意味着，无论您拥有一部价值 1,500 美元的 iPhone，还是带有视频屏幕的旧式 WiFi 冰箱，理论上您都可以尽情畅玩《赛博朋克 2077》。 另一篇论文表明，我们最好押注本地计算的进步，而不是必须与不可靠的网络抗衡的远程超级计算机。基于云的渲染和视频流是一个引人注目的想法，但它也大大增加了需要交付的低延迟数据量。如前所述，游戏内容的目标是每秒最低 60 帧（是视频标准的两倍多）和多达 90-120 帧，理想情况下具有 2K 到 4K 的清晰度。将这个可靠地提供给每个想要同时参与元宇宙的人，并且以低延迟......真的很难。这是发电机类比开始失效的地方；我们不会每天都在努力获得所需的电力，也不会在需要时尽快获得。
即使在超低延迟的情况下，考虑到相机移动和接收新输入数据的速度（即光速，距离仅几英尺），流式传输（相对于本地处理）AR 数据也没什么意义。鉴于 AR 的密集计算要求，因此我们的核心个人/移动设备很可能能够在大多数实时渲染中完成「足够好」的工作。 到目前为止，远程计算也没有证明在渲染方面效率更高。这是因为基于云的 GPU 不会产生通用的渲染「能力」。 取而代之，它们是锁定的实例。单个 GPU，远程或本地，仅支持单个用户的渲染。还没有人想出如何有效地、经济地、并按照现代对分辨率和帧率的期望，将其渲染能力分配给多个用户，就像电源计划将电力分配给多个家庭一样，或者 CPU 服务器可以支持输入，大逃杀中一百名玩家的位置和同步数据。
因此，由于需要针对峰值需求进行规划，云渲染服务器通常会面临利用率问题。周日晚上 8 点，克利夫兰地区的云游戏服务可能需要 75,000 台专用服务器，但周一凌晨 4 点仅需要 4,000 台。作为消费者，您可以购买价值 400 美元的 GPU，并任其离线使用，但数据中心经济学的导向是针对需求进行优化。 这就是为什么如果客户提前从亚马逊租用服务器（「预留实例」），AWS 会为客户提供折扣。客户可以保证明年的访问，因为他们已经为服务器支付了费用，而亚马逊正在将其成本与客户价格之间的差价收入囊中（AWS 最便宜的 Linux GPU 预留实例，相当于一台 PS4，一年的成本超过 2,000 美元）。如果客户想在需要时访问服务器（「Spot 实例」），他们可能会发现它们不可用，或者只有低端 GPU 可用，或者只有其他地区的 GPU 可用，这意味着更大的延迟。
如果这种模式起飞，价格将会提高（‘AWS 为预留消费者实例提供的利润是我的机会’），但租用利用率低且企业加价低的高端 GPU 总是成本高昂。数据中心也会产生大量热量，这需要昂贵的能源来冷却，而从云流数据向高分辨率、高帧率内容的转变也意味着带宽成本大幅增加。与本地计算相比，这两项费用都是附加的。
最重要的是，消费级处理器的改进速度比网络快得多，因为它们被更频繁地更换并且实际上并没有与光速作斗争。这种增长并不能缓解所有网络挑战，但它表明我们最好要求客户端设备执行更多计算，而不是向这些设备发送大量视频流。这可能会随着时间的推移而改变，但在可预见的未来，斯威尼定律看起来很可能会成立。
边缘计算通常被强调为元宇宙的关键基础架构策略。具体而言，该模型涉及在消费者和更远的中央服务器之间的关键网络节点部署超级计算机。边缘计算兼容并补充上述两种思想流派，因为它可以帮助最终用户补充其本地计算，同时最大限度地减少基于网络的延迟和网络拥塞风险。
这种方法的应用价值仍然不确定。例如，微软的 xCloud 从标准 Azure 数据中心而不是边缘运行。这可能是由于上述云服务利用率问题——您运营的边缘中心越多，利用率问题就越严重。大多数使用边缘计算的消费者服务，例如 Netflix，实际上只是将其用作边缘硬盘，将文件存储在离用户更近的位置。
Cloudflare 的创始人兼首席执行官马修·普林斯认为，边缘计算的机会在于合规性。由于政府法规要求在本地处理用户数据，互联网变得更加分散，公司别无选择，只能将数据的存储和处理置于更靠近用户的位置。这在元界很可能是一样的；随着时间的推移，政府的要求（无论是 GDPR 还是 CCPA）只会变得更加繁重，就像中国和俄罗斯长期以来的情况一样。
虽然谷歌是边缘计算的忠实拥护者，但苹果认为未来真正的边缘计算模式将是我们口袋里越来越强大的手机，因为它们将为我们周围的其他设备承担大部分负担，例如手表和智能眼镜。
但是，即使我们提高了消费设备的计算能力，将更多的企业计算能力移到离消费者更近的地方，并建立更集中的基础设施，我们仍然有可能达不到目标。 这是今年早些时候让我震惊的一个例子。从 2020 年 12 月到 2021 年 3 月，Genvid Technologies（披露：投资组合公司）在 Facebook Watch 上运营了其首个大型“MILE”（或大规模互动直播活动）。这个 MILE，Rival Peak，是一种虚拟化的美国偶像 x LOST x Big Brother，一个 13 周，24/7 模拟被困在虚构的太平洋西北地区的 13 名 AI 参赛者。虽然没有角色是单独控制的，也没有一个观众是单独的角色，但数以万计的并发观众能够实时影响模拟——解决谜题以帮助参赛者，选择他们可以做什么，甚至影响谁幸存下来并被启动。 Rival Peak 永远不可能在消费设备上运行，尽管存在延迟，但它的高 CCU 仍能工作，因为它是为低延迟交互而设计的。事实上，它几乎没有在 AWS 上运行。 Rival Peak 有八个环境（生产、备份、暂存、QA 和开发），每个环境都由十几个 GPU 和数百个其他 CPU 支持，Rival Peak 曾经在 AWS 上耗尽 GPU 服务器，并且在测试期间经常耗尽可用现货服务器。 
因为没有特定的玩家（更不用说「玩家一号」了），Rival Peak 不符合元宇宙的本能定义。然而，支持无限交互的持久和无休止的虚拟世界的运行，每一个都会产生持久的后果，与任何其他的元宇宙一样接近最终状态。即使在其新生形式中，并且不需要有意义的消费者端处理，它的计算量也已耗尽。
想象一下 Nvidia 的互连镜像世界愿景需要什么。或者绘制城市的整个几何图形所需的那种模拟，然后调整从交通灯到 5G 无线电波的一切，以实时优化人流和信息流。仅仅为了明年的 MILE（尚未公布），Genvid 将需要 200% 以上的 GPU 和 CPU。 去中心化计算 对处理的永无止境的需求——理想情况下尽可能靠近用户，但即使靠近工业服务器群——总是会激发去中心化计算的概念。家里和消费者手中有这么多功能强大且经常处于非活动状态的设备，我们不可避免地需要开发系统来有效地利用它们。至少在文化上，这个想法已经很好理解了。任何在家中安装太阳能电池板的人都可以将多余的电力出售给当地电网,以及间接地他们的邻居。埃隆马斯克吹嘘未来，你的特斯拉在不使用时可以作为自动驾驶汽车出租，而不是在它的 99% 的时间里停在你的车库里。 1998 年，当我们发布第一款虚幻游戏时，我的待办事项清单上有一个有趣的项目。这是为了让游戏服务器能够相互通信，这样我们就可以在一个游戏会话中拥有无限数量的玩家——而且它似乎仍然在我们的愿望清单上。您是否可以在一个共享世界中共同构建一款可供数百万玩家玩的游戏，这对游戏行业来说是一个非常有趣的挑战。 - 蒂姆·斯威尼 (2019)
事实上，早在 1990 年代，就出现了使用日常消费硬件进行分布式计算的程序。例子包括伯克利的 SETI@HOME，其中消费者会自愿使用他们的家用电脑来寻找外星生命。但是最近的区块链概念，包括智能合约和代币，为这种共享提供了一种经济模型。在这个概念中，未充分利用的 CPU 和 GPU 的所有者将因使用其处理能力而以某种加密货币付费，可能是由网络拓扑中位于它们附近的用户支付。甚至可能会有对这些资源的访问的现场拍卖，无论是那些有「工作」竞标访问权限的资源，还是那些有能力竞标工作的资源。 
这种机制的一个例子是 OTOY 的渲染网络。作为第一个完全利用 GPU 的无偏光线追踪器，Octane Render 开创了周转时间，使实时修改场景成为可能。但对于其用户（包括效果工作室、艺术家、动画师、设计师、建筑师和工程师）来说，要利用这些突破性功能，他们需要访问强大的实时处理功能。 OTOY 想到了通过创建基于以太坊的 RNDR 网络和代币来利用空闲 GPU 网络的想法。作为昂贵的云提供商的替代方案，客户将渲染任务发送到计算机网络，并使用代币向其所有者付款。各方之间的所有协商和签约都在几秒钟内由协议处理，任何一方都不知道正在执行的任务的身份或细节。 您会意识到区块链实际上是一种用于运行程序、存储数据和可验证地执行交易的通用机制。它是计算中存在的一切的超集。我们最终会将其视为分布式计算机，其运行速度比我们台式机上的计算机快 10 亿倍，因为它是每个人的计算机的组合。 - 蒂姆·斯威尼 (2017)
这样的市场能否提供元宇宙所需的大量处理能力？想象一下，当您在沉浸式空间中导航时，您的帐户不断向您附近的人,也许是走在您旁边的人持有但未使用的移动设备发出必要的计算任务，以便渲染或动画化您遇到的体验。当然，稍后，当您不使用自己的设备时，您将获得代币作为回报。这种加密交换概念的支持者将其视为所有未来微芯片的必然特征。每台计算机，无论多小，都将被设计为始终拍卖任何备用周期。数十亿个动态排列的处理器将为即使是最大的工业客户的深度计算周期提供动力，并提供支持元宇宙的终极和无限计算网格。 区块链将存在很长时间，它将成为一种基本的新计算形式。 - 黄仁勋 (2018)
原文作者：Matthew Ball & Jacob Navok 原文相关链接： Hardware and the Metaverse
Compute and the Metaverse
—-
编译者/作者：洁sir
玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。
|
