您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件开发专栏 > 开发技术 > 正文

什么是混合现实?定义、工作和应用程序

发表于:2022-12-14 作者:Harris编译 来源:机房360

混合现实结合了真实和数字元素,使它们可以通过3D全息图相互作用。

混合现实被定义为一种沉浸式技术,它将物理世界的元素与数字世界的元素结合起来,使它们能够相互交互,通常是通过3D全息图。本文定义了混合现实,描述了它是如何工作的,并解释了这种新兴技术的应用。

混合现实是一种沉浸式技术,它结合了物理和数字元素,使它们能够相互交互。这通常是通过3D全息图完成的。

继大型机、个人电脑和手机之后,混合现实将是下一场计算革命。“混合现实”一词是由PaulMilgram和FumioKishino在1994年的一项名为“混合现实视觉显示分类学”的研究中提出的。

他们的工作调查了沉浸式虚拟连续体的概念和可视化的分类。从那时起,混合现实的使用已经扩展到包括地理映射和锚定,手跟踪,语音输入,以及3D资产的协作,以及显示。

消费者和企业对混合现实的使用现在很普遍。它提供了与我们家里、工作场所以及同事之间数据的直观连接,将我们从屏幕束缚的体验中解放出来。

全球数以百万计的互联网用户使用他们的移动设备体验过混合现实。移动AR提供了当今社交媒体上最流行的混合现实解决方案。用户可能不知道Instagram的增强现实(AR)滤镜代表了混合现实体验。

混合现实结合了数字世界和物理世界,使人类、计算机和环境之间的有机和直观的3D交互成为可能。计算机视觉、图形化实现、音频和视觉技术、输入法和云计算的发展促成了这一新的现实。

由于有效开发混合现实体验的困难,我们仍然处于MR发现的第一阶段。然而,前景是无限的。混合现实编程使数字事物能够与实际环境交互,使个人能够与虚拟方面互动,就像它们是真实的一样。创造真正的MR体验需要复杂的输入传感器以及软件开发工具包(sdk)。

混合现实让我们:

•加快创新:使用混合现实,施工或设计团队可以简单地生成项目的数字双胞胎,并以最小的浪费和成本测试创新概念。有了MR,你可以很快地尝试许多材料和概念。

•简化协作:想象一下,能够与相隔数百英里的同事一起构建一辆新汽车的全息演示。像VR和AR这样的混合现实技术,使开发更具吸引力的共享和互动体验成为可能。

•减轻工作量:混合现实耳机上的摄像头可以实时向同事提供材料,允许专业人员对他们观察到的内容(例如另一个团队成员旁边的机器图片)发表评论,并提供清晰的实时指示。

•优化培训和发展:混合现实提供了巨大的培训和发展可能性。公司可以利用混合现实技术为所有情况下的个人开发沉浸式培训和发展机会。这不仅有助于发展肌肉记忆,还可以减少与某些训练情况相关的危险。

MR,VR,AR

虚拟现实、混合现实和增强现实正在改变我们的生活方式和工作环境。

•虚拟现实(VR)是一种计算机生成的、交互式的真实或人工场所或活动的表示。

•混合现实(MR)是现实世界和计算机生成组件的交互式表示或透视图。

•增强现实(AR)是一种结合计算机生成装饰的现实世界视角。

如今,外科医生可以使用虚拟现实手术台进行救生手术培训。在AR眼镜的帮助下,厨师可以在准备饭菜时看到详细的说明。很快,巨大的混合现实仓库将开始根据浮动包装说明装载装运箱。

VR、AR和MR这三个术语通常是可以互换的。对许多人来说,虚拟现实是一个包罗万象的短语,指的是计算机生成的、逼真的东西。然而,这些词很容易区分。混合现实本身就是一种技术,具有自己的特性、功能和应用程序。

沉浸式体验为混合现实提供了最具洞察力的视角之一。微软(Microsoft)等沉浸式技术先驱认为,混合现实与虚拟现实和增强现实并驾齐驱。这个光谱也被称为“虚拟连续体”。

在光谱的一个极端是物理的,现实世界的环境中,人类生活和与实际物体互动。由计算机程序和软件构成的生态系统则处于另一个极端。

虽然你是在现实世界中,但你在虚拟现实(VR)中与之互动的大部分材料都是虚拟的。增强现实(AR)更接近物理现实,在物理现实中,你查看和交互的绝大多数信息都是真实的,几乎没有数字增强。与这两种互补的技术相比,混合现实处于光谱的中心。

使用混合现实技术,你可以通过全息图将虚拟内容放置在实际环境中,并与它们进行交互,就像它们在实际环境中一样。通过生成虚拟形象并将信息通过云存储发送到所有其他支持mr的空间,您还可以将自己沉浸在虚拟世界中。

混合现实如何运作

混合现实在云计算和人工智能的帮助下发挥作用。MR设备使用强大的AI传感器、镜头、图形处理单元(GPU)以及显卡或核心芯片在三个轴或维度上处理和存储数据。设备的功能越多,混合现实体验就越好。例如智能眼镜、手套、紧身衣和智能手机。

MR设备可以将消费者连接到无线或有线计算机、控制台或PC以访问软件。该程序可以添加,复制或重新定位虚拟物品,以创建沉浸式环境。现代混合现实头盔,如Hololens,可以生成高保真的设置,让用户参与虚拟活动,从而消除界限,将现实和技术分开。

除了耳机,以下是其他四种使用MR的设备:

1.智能手机和其他移动设备

随着时间的推移,平板电脑和智能手机等移动设备的计算能力和移动性不断增强。许多现代移动设备已经为MR应用程序开发了工具包。这些工具使开发人员能够在现实世界的镜头上叠加计算机图像。

虽然基于ar的娱乐应用程序已经被证明是有效的,但专业和实用应用程序已经开始包含MR元素。由于移动设备的普遍存在,其显示技术是MR增长和接受的关键因素。

2.平视显示器(HUD)

平视显示器(HUD)将3D图形直接投射到用户面前,而不会明显模糊他们的周围环境。一个标准的HUD由三个部分组成:

•一个屏幕-负责叠加HUD的图形,

•组合器-图形被投影到的表面

•一台计算机——将其他两个组件结合在一起,执行任何必要的实时计算或调整

最初,原型hud在军队中用于协助战斗机飞行员作战。然而,它们最终演变为协助航空的所有要素。混合现实hud可以将3D图像和数据可视化与运输和移动车辆结合起来。

3.360度沉浸式环境(CAVE)

洞穴自动虚拟环境(Cave)是一个场景,在这个场景中,一个人被上方和下方的四面投影屏幕包围。作为投影的补充,3D眼镜以及环绕立体声为用户提供了一种旨在复制实际环境的透视感。自开发以来,工程师们已经使用CAVE系统,创建和测试混合现实产品原型。

4.头戴式显示器或MR眼镜

头戴式显示器(HMD),放置在整个头部或眼睛旁边,是一种通过一个或两个镜头将图像直接投射到用户眼前的设备。它广泛应用于健康、休闲、航空航天和工程部门,并提供了传统显示器无法实现的视觉参与水平。

头戴式显示器在MR娱乐客户中非常受欢迎。然而,大多数头戴式显示器仍然是虚拟现实显示器,不包括实际环境。微软的HoloLens是一款MR头戴式显示器(HMD),在医学和工程领域都有应用。它让临床医生对现实世界有了更深入的了解。MagicLeap公司开发了一款类似的设备,在私人和消费者市场都有潜力,它创造了一款出色的增强现实HMD。

除了包含前端体验的显示之外,环境感知和高级用户输入也为混合现实提供了动力。近几十年来,输入技术继续塑造着人与计算机之间的界面。

人机交互(HCI)是一个新的研究领域,包括键盘、鼠标、触摸、笔,甚至语音识别。传感器技术和处理能力的进步正在创造基于HCI输入技术的新的计算机感知设置。这就是为什么MR使用应用程序编程接口(api)来记录一个人在真实环境、表面和极限、环境照明和物理位置中的身体位置。

创造真实的混合现实体验需要整合三个基本元素:由云驱动的计算机处理、改进的输入技术和环境意识。我们在物理世界中的行动被数字空间追踪。在制造工厂中,物理边界会影响混合现实,如游戏和基于任务的辅助。有了上下文输入和感知,物理世界和数字世界开始融合。

混合现实的应用

以下是混合现实的一些最引人注目的应用:

1.让体育和娱乐更让粉丝身临其境

开发人员目前正在开发其他混合现实应用程序,可以产生类似的体验,比如在音乐会中,你最喜欢的表演者与数字道具互动,在足球游戏中,动作似乎发生在你的客厅里。美巡赛(PGATour)的球迷可以使用一款应用程序,该应用程序在几年前将高尔夫球场渲染成3D。美巡赛还计划将HoloLens用于赛事设置和高尔夫球场规划,而球员可以在球场上第一次击球前,利用混合现实准备自己的策略。

2.在远程位置工作和协作

使用混合现实,任何组织的员工都可以与客户或其他同事一起工作,即使他们不在同一个区域。在实时翻译工具的帮助下,语言障碍将毫无困难地消除。如果视频会议或Skype电话让你印象深刻,那么混合现实会议将更具革命性。例如,美国国家航空航天局(NASA)与微软(Microsoft)合作开发了OnSight项目,该项目使科学家和工程师能够虚拟地出现在火星上。

4.在游戏中融入社交元素

在虚拟游戏中添加社交元素是MR在游戏中最受欢迎的使用案例之一。虚拟游戏通常将数字事物的体验限制在头戴式耳机的个人身上,导致了一种孤独的游戏体验。但是MR有潜力通过建立虚拟社区来克服这个问题。换句话说,许多玩家可以通过众多的耳机和全息化身享受相同的游戏体验。

5.提高电子学习中的知识保留和安全性

MR可以通过三维展示信息来增强在线学习。这种方法将帮助孩子们形成持久的记忆,更好地理解他们正在学习的东西。这一概念也可用于安全和健康以及工业维护和维修方面的培训。这一策略帮助学生通过一种虚假的“亲力亲为”的方法获得知识,而没有损坏的危险。

更多信息:什么是空间分析?定义,工作和例子

6.提供全新而独特的客户体验

MR可能有助于模糊实体店和网上购物体验之间的界限。例如,通过机器学习和计算机视觉,移动零售应用程序将自动识别商店中的所有商品,并将其添加到用户的购物篮中。用户可以选择购买这些物品,收藏它们以供后续购买,甚至与朋友分享。当使用MR眼镜在这种情况下,你将能够访问书签项目,评级,和更多的商店。MR还可以帮助消费者快速识别并从商店获得他们需要的物品。

7.让医疗更有效、更准确

磁共振技术在医疗应用程序中的应用有可能彻底改变医疗保健行业。通过AR和VR技术的结合,外科医生将能够更有效地治疗他们的病人。他们将能够使用混合现实技术研究3D患者的计算机断层扫描(CT)或磁共振成像(MRI)图像。这可能会帮助外科医生找到要进行手术的确切身体部位,使他们能够成功地进行手术。

8.改变政治集会和竞选活动

政治事件就是能吸引大量观众的一个例子。在政治集会期间,官员们确保所有的安全防范措施都到位。然而,这些安排有时证明是不够的。任何观众都有可能对公众人物构成危险。在这种情况下,使用MR可能有助于防范意外事件。使用混合现实技术,政治演讲者可以在远程出现时安全地在集会上讲话。

9.简化生产和其他工业流程

公司正在工作场所尝试数字孪生。数字孪生是为创建、评估和验证而创建系统、流程甚至机器的非常逼真的副本的过程。

数字双胞胎为技术人员提供了模拟和应对各种技术挑战所需的知识。虽然数字孪生是在工业领域发展起来的,但它适用于任何领域。数字孪生还可以用于跨行业应用程序用例,如基础设施和自动化。

10.打造更好的产品

在MR设备上使用3D建模应用程序,专家可以在虚拟环境中创建与他人共享的产品。这种全面的3D建模和协作形式允许工程师识别缺陷,并允许实时修改他们的想法。

协作平台使管理人员能够实时分析和检查3D设计。MR越来越受欢迎的另一个原因是,它能够将三维模型投射到各种建筑和材料上,而不需要3D打印的成本。这可以帮助工程师可视化进度和检查设计质量。

结语

混合现实市场正在蓬勃发展。根据最大化市场研究(MMR)的数据,2021年全球MR市场价值8.11亿美元。预计到2029年将超过15亿美元,以惊人的44.5%的速度增长。这是由于混合现实在不同行业和垂直领域的多种应用,以及人机交互、人工智能和高速数据处理的进步。