摘要：本文将讨论如何在不同的设备上实现多模态通信，以推动虚拟空间的使用。

同时支持本地和网络应用的优点很多，我们可以通过各种设备接触到不同类型的用户。网络应用的优点是受众广，本地应用的优点是能够提供设备端独有的特性和功能，为用户提供更全面的功能体验。两种设备各有优势，尤其是在共享 3D 虚拟空间的背景下。

本文将深入探讨为各种设备用户增加体验感的实时互动解决方案，以及 3D 空间音频和 AINS（人工智能噪音抑制）等优化方式。这将是推动广泛采用 3D 虚拟空间和元宇宙的关键。

不对称的用户体验

2D 互联网有其优势——方便访问且使用人数较多。但是，它限制了用户在虚拟环境中对空间和存在感的深度体验。使用传统的 2D 网站和应用时，我们是在与一系文本块、列表和表格交互，我们开始体验到 2D 空间中互动的局限性。另外，随着近几年实时互动视频逐渐成为在线内容的主导媒介，“Zoom 疲劳”一词也成为了最新的热议话题。所以，下一步究竟该怎么走?

有的公司正在尝试混合现实和实时渲染的 3D 空间，希望通过在数字环境中实现具体的 互动来解决这一问题。这些技术可能会彻底改变我们与数字世界的互动方式，帮助我们摆脱 2D 空间的限制，并为我们提供更趋近于物理互动的互动方式。

然而，向 3D 交互设计范式过渡对用户和开发者来说都有相当大的难度。就像 90 年代和 21 世纪初，视频游戏经历了众所周知的 3D 游戏初级阶段一样，现代的数字原声代用户将在未来几年内在各种在线互动中经历这种尴尬的过渡。此外，正如我们在本系列文章的第一部分讨论的一样，泛在的、跨平台的可用性是推动主流用户采用元宇宙的关键因素。因此，如果要向 3D 过渡，需要用户愿意使用同时有 2D 和 3D 界面的应用程序（基于终端用户的设备类型）。这就是不对称用户体验的概念。

与环境进行合理的互动

不对称的用户体验源自于 21 世纪初开始的响应式设计趋势，当时设计师们在努力寻找方法，以适应用户越来越多的互联网访问设备。同样的，当我们从 2D 交互性转向 3D 交互性时，需要有促进响应式设计发展的智慧，并了解如何创造不对称的用户体验，使交互适合每一种设备的“示能”。

“示能”指的是用户可以对某物采取的潜在行动。我们的目的其实代表了设备可以与虚拟情景互动的方式，以虚拟现实（VR）、增强现实（AR）、桌面和移动用户的互动情况为例。

当佩戴 VR 和 AR 头盔时，用户的沉浸感更强。这些设备的“示能”接近于物理真实性和响应性，可以有更直观的互动。例如，用户可以伸出手，对数字进行物理操作。这样可以创造一个更自然、更沉浸的体验，用户能够执行与现实世界中的行为类似的动作。同样，这种技术提供的自然活动使用户能够进行更多的私人实时对话，更接近于他们在物理环境中进行的互动类型。

此外，我们的远程桌面用户通常依靠鼠标和键盘进行交互，“示能”更有限，因为用户的动作只限于点击、拖动和打字。虽然用户对这些互动很熟悉，而且它们可以有效完成很多任务，但它们缺乏 AR 或 VR 中的触觉和感官反馈。但是，远程桌面用户可以使用多种其他设备没有的软件和应用程序。许多限制性的文本块、列表和表格其实是高效的工具。

移动设备具有触摸屏和传感器互动，介于 AR 和 VR 用户的空间自由和远程桌面用户的多任务高效率之间。虽然触摸屏缺乏按钮或控制器的物理反馈，但有更直观的互动。此外，移动设备的摄像头可以为用户提供混合现实体验，虽然移动设备的屏幕尺寸限制了用户的沉浸感。

关键是，任何虚拟空间，特别是空间导向的虚拟空间，应该让用户合理使用手中的工具进行互动。一个很好的例子是 Aetho 的 telepresence 平台 Beame，它能“把人和内容传送到现实世界环境中来进行有意义的互动和协作”。

https://www.agora.io/en/wp-content/uploads/2023/03/multimodal-communications-in-metaverse.mp4

Beame 的核心主张是，用户能够在虚拟或混合现实环境中使用化身“面对面”。用户可以使用 AR 和 VR 头盔（甚至可以通过移动设备）进入数字世界。此外，一个门户网站可以让所有用户使用更传统的 2D 实时互动功能参与会议，如视频会议和文本聊天。总而言之，Beame 的跨平台功能，以及对 2D 和 3D 用户的不对称用户体验的考量，铸就了一个包容性强大的平台，每个用户都能以适当的方式参与其中。

为所有元宇宙场景构建

通过考虑不同用户的需求和偏好，我们可以创造出无障碍的、包容的、吸引广大观众的虚拟体验，这反过来也将推动 3D 虚拟空间的使用，因为更多的用户将了解沉浸式和互动式虚拟环境的优点。

声网的跨平台解决方案可以在各种设备中无缝切换。它是强化虚拟通信和协作的实时互动（RTE）平台。无论你是在制作一个网络或本地应用程序，还是在用 Unity 或 Unreal 这样的 3D 引擎构建虚拟世界，声网都可以帮你在不同的设备上与观众实时通信。

声网还提供扩展功能来增强所有用户的体验。例如，3D 空间音频扩展可以帮助用户在各种设备和界面中营造虚拟空间的存在感。同时，声网的人工智能噪音抑制可以提高在线互动的质量，帮助用户在嘈杂或吵闹的环境中进行有效的沟通。总之，声网的全套解决方案堆栈是构建未来互联网的理想基础设施。

想了解更多吗？欢迎查看声网的元宇宙解决方案。

欢迎免费注册声网，发现声网的多种优质产品。

原文作者：Jonathan Barcelo
原文链接：https://www.agora.io/en/blog/multimodal-communications-in-the-metaverse/