VR陀螺 13小时前
揭秘Meta最强AR眼镜Orion背后
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

文 /VR 陀螺

扎克伯格颇有仪式感的从一个保险箱里面掏出这款(Orion)AR 眼镜设备,并说了一句:" 这就是世界上最先进的眼镜。"

Meta Orion ——据称成本高达 1 万美元,Meta 内部研发 10 年,虽然它还只是原型机,但里面的众多技术值得我们关注。

  70 度视场角全彩显示  

  Micro-LED+ 衍射光波导 + 碳化硅  

从产品外形来看,其整体比较粗犷,镜框看起来较厚,扎克伯格称眼镜重量控制在了 100g 以内。Orion 由 3 个部分组成,AR 眼镜 Orion、独立的计算单元 Wireless Compute Puck 以及 EMG 神经腕带。

Orion 为 AR 一体机眼镜,其通过无线与主机连接,内置两颗芯片,眼镜本体续航可达 2-3 个小时。眼镜采用衍射光波导 + 全彩 Micro-LED 光机,据 VR 陀螺了解,该屏幕来自国内头部的 Mirco-LED 企业 JBD,采用光波导合色方案,即使用 R、G、B 三个独立单色光机进行合色,一般搭配多层光波导 / 多个波导耦入口实现合色。

值得注意的是 Orion 的对角线市场角可以达到 70 度,这是目前市场上采用衍射光波导 + 全彩 Micro-LED 光机所达到的最大视场角产品,其原因在于采用了碳化硅材料。在此之前,衍射光波导多采用玻璃或者树脂材料,玻璃透过率和平整性更高,并且折射率可达到 2.0-2.2,所以能够带来更大的视场角,但其缺陷也比较明显,一方面无法应对曲面设计,另外还会导致眼镜更重、也更易碎。

而树脂材质,从去年开始众多光波导光学企业都开始探索和落地应用,所以今年在光博会上看到了非常多采用树脂材质的光波导。树脂作为眼镜上最常用的镜片材质,以其更轻量、可用于曲面设计,同时抗摔落的属性,受到了越来越多光学企业追捧。不过树脂材质的缺点也比较明显,其折射率位于 1.5-1.7 区间,所以难以获得更大的视场角。

碳化硅,公开资料显示,碳化硅是一种无机物,化学式为 SiC,是用石英砂、石油焦(或煤焦)、木屑(生产绿色碳化硅时需要加食盐)等原料通过电阻炉高温冶炼而成。它是一种半导体,在自然界中以极其罕见的矿物莫桑石的形式存在。

其化学稳定性强,不易受化学腐蚀;在特定波长范围内,碳化硅光波导的传输损耗低,保证了信号的高质量传输;宽频带特性使其适用于多种光通信和传感应用;高折射率有助于提高耦合效率并减少泄漏损失;环境适应性强,适用于极端温度、湿度和压力环境。

相比之下,目前玻璃最高折射率为 2.0,密度为 4.7g/cm ³,而碳化硅在折射率上可达到 2.6,密度为 3.2g/cm ³。更高的折射率使得光波导能够更有效地束缚和引导光波,从而减少光的损失,提高传输效率。此外,较低的密度使得碳化硅光波导在重量上更轻。提升最终产品穿戴体验。

VR 陀螺之前在与光博会参展企业慕德微纳的交流中了解到,目前比较常见的碳化硅分为导电型及半绝缘型,导电型主要用于半导体领域,半绝缘型为透明态,应用较少,所以完全没有起量,这也导致材料的价格非常高,如一片 4 寸的硅片做碳化硅片价格将近 2000 人民币,而且由于其比普通的石英玻璃更加坚硬,导致加工比较难,所以慕德微纳采用的加工工艺是先压印再刻蚀。

  Orion 交互:6DoF 空间定位  

  + 手势 & 眼动追踪 +EMG 腕带  

除了波导材质值得关注之外,Orion 上还有诸多技术点值得留意。其支持 6DoF Slam 定位,以及手势识别和眼动追踪,并且还搭配了 EMG 神经腕带,所以交互方式非常丰富,头控、眼动、手势、以及眼镜本体上的按键。

在 Orion 眼镜上拥有 7 个摄像头和传感器,眼镜前方和镜腿两侧分别有两个摄像头用于 6DoF Slam 定位,在眼镜内侧分别有 2 个摄像头对眼球进行追踪,同时旁边分布了一圈红外灯来辅助捕捉。

关于显示体验,据了解其亮度完全可适用于室内环境,但室外环境的亮度仍需提升。此外,据了解,Meta 实际上为眼镜准备了电致变色与光致变色两种方式来使其应对更多更复杂的光线环境,电致变色相对于光致变色拥有更广的变色范围,如国内伯宇可以实现 10-80% 的变色范围,而光致变色能够实现

60*40 fov,彩虹纹有,亮度,2 种,hero device,精挑细选,室内环境下 ok;电致变色,orion 有,2 套电致变色,photocromic,光变(一层膜)GHLC 技术,范围小。

另外,关于眼镜主机 Compute Puck 部分,其呈椭圆长条形,未搭载屏幕,内置处理器,并且搭载了摄像头和 ToF 等传感器,可以扫描人脸建模,用于 3D 全息通话上。

主机主要为眼镜提供算力,然后通过构建无线局域网将画面传送到眼镜上,腕带则是与主机使用蓝牙连接。Orion 眼镜支持多模态大模型,主要计算部分在主机上,据了解该计算单元可以实现一整天的使用续航。

关于神经腕带,很早之前 Meta 就公布了相关专利和早期的 Demo 产品,详见:《扎克伯格:VR/AR 神经腕带将在未来几年内发货》,不过当时亮相的产品整体看起来还非常厚重,此次 Orion 套装中的 EMG 腕带看起来轻薄了许多,其采用编织材质,内侧放置了多个传感器用来检测肌电信息,将其转换成电信号用来交互,可以实现诸多手势动作,如食指、中指捏合,握拳拇指单击打、双击、左右上下滑动,同时腕带内置 IMU,通过手移动可以控制虚拟界面中的物体移动、滑屏等操作。

在手势追踪部分,Meta 考虑非常周全,通过腕带可以实现一部分手势,同时眼镜上的摄像头也可以进行 CV 视觉的手势捕捉,以应对其他交互出现问题时紧急状况。

Meta 早前展示的 EMG 腕带 Demo

Meta Orion 套装中的 EMG 神经腕带

关于肌电手环,严格来说,其只是使用肌电信号控制设备的仪器。所谓肌电信号,维基百科给出的解释是,当肌肉细胞被生物电或者神经激活时产生的电能。

而将单个或者多个肌肉细胞或者部分肌肉组织活动时产生的生物电变化,经电极引导,放大、记录和显示所获得的电压变化的一维时间序列信号图形,就是肌电图(electromyogram,简称 EMG),也就是我们今天能看到的肌电手环等使用的关键概念。

肌电手环的技术原理与应用,VR 陀螺早前有多篇文章阐述其技术原理,国内从事肌电手环研发的傲意信息,早已将肌电手环用户残障人士,如断臂者可以通过肌电手环采集电信号后,释放到仿生机械手上,从而实现日常的拿取物体、用筷子吃饭等行为,真正让科技惠及民生。

  多模态 Llama 3.2 大模型,AI 赋能内容应用  

在应用层,Orion 展示了多个应用,包括全息视频、游戏、AI 识物等。

Orion 支持 6DoF 空间定位,因此可以实现虚实融合的 MR 效果,它相对于 Vision Pro 以及 Meta Quest 等以 VST(Video See Through)为核心的 MR 产品要轻薄许多,当然,目前 OST 的显示效果也难以媲美 VST。

Meta 为 Orion 眼镜开发了一款 Messenger 应用,能够与 VR 头显、手机的用户跨平台进行 3D 通话,类似苹果的 Persona 功能。当使用 3D 全息通话时,眼镜前方将显示对方的 3D Avatar,仿佛与真人在进行对话,通话过程中,Avatar 的眼神和嘴都会有对应的动作呈现。

另一款内容是一个像素风的射击小游戏,主要操作是用头部以及眼动追踪锁定目标后,然后用手指捏合来发射子弹,由于可支持 6DoF 空间定位,所以画面会被固定在空间中,不会产生晕眩。

AI 也是本次 Meta Conncet 的一大亮点,Meta 推出了首个开源多模态模型 Llama 3.2。扎克伯格称,当前 AI 最简单的用例之一是 AI 助手,而 Meta AI 在这一类别中脱颖而出,不仅可以免费无限制地访问最先进的 AI 模型,还可以轻松集成到不同的产品和应用程序中。Meta AI 有望在今年年底成为世界上最常用的 AI 助手。

在 Orion 上 Meta 展示了两个 AI 场景,一个是通过文字生成图片;另一个为是通过眼镜直接识别场景中的物体,并进行解析。比如案例中演示了让 AI 根据桌面上所放置的食材,为用户提供一个适合的菜谱,并且在菜谱生成后,还能提供料理的所有步骤教程。此次,新版的 Ray-Ban Meta 眼镜相比上一代也实现了实时视觉处理和实时翻译,之前的 AI 需要先拍摄后,AI 基于拍摄的图像来进行理解和分析,所以存在一定的延迟,而实时视觉处理能够更快应对场景的变化从而实时进行分析。

此次展示的 AI 功能只是 Llama 3.2 的小部分应用,实际上这个大模型已经能够实现以下诸多功能,如:

1、图像编辑

扎克伯格展示了 Meta AI 根据用户输入自由编辑图像的能力。Meta AI 拥有 " 理解图像和文本 " 的能力,可以根据用户提供的 prompt 为原始图像进行添加、叠加新元素以及其他编辑操作。

2、语音交互

现在,Messenger、Facebook、WhatsApp 和 Instagram 用户可以通过语音提问在应用程序中与 Meta AI 聊天,语音助手也同样通过语音回复。目前 Meta AI 内置语音角色包括 Dame Judi Dench、John Cena、Awkwafina 等名人。

3、AI Studio

扎克伯格在现场展示了一段利用 Meta AI 根据真实人物创建 AI 角色智能体的演示。

在对话中,AI 角色不仅外观、语音、说话方式与真实人物几乎无异,甚至能根据设置的人设对不同的问题作出具体回答。例如在问到对该人物最近出版新书的看法时,AI 可以提出自己的见解,而当问到养牛的技巧时,AI 不会跳脱人物身份胡言乱语,而会如实回答 " 我未拥有任何养牛技巧,我的专长在于技术设计而非农业。"

4、视频 AI 配音

在 AI 演示中,扎克伯格特意强调了新工具 Reels,可以对视频进行自动翻译配音,无论原始视频是何种语言,Reels 都能在翻译后自动口型同步,实现两种语言语音的平稳切换,且从现场演示的两段视频来看,Reels 对转换后的语音声调音色和人物口型都处理得几乎看不出 AI 痕迹。

5、Llama 3.2

以上所有的 Meta AI 用例的实现都得益于 Meta 新推出的开源 Llama 3.2 模型。这是 Meta 第一个开源多模态模型,支持多种可视化理解需要的应用。

其中 Llama 3.2 11B 和 90B 可以通过简单的描述解释图表和图像,例如分析公司营收图表或分析地形提供出行建议。

但值得注意的是,由于欧盟法案的限制,Llama 3.2 11B 和 90B 将无法覆盖欧洲,但扎克伯格乐观地认为 Meta 将会解决这个问题。开源模型的持续更新使得 Meta AI 即使 " 没有在一些较大的国家推出 ",也收获了几乎 5 亿用户。

以上 AI 功能并未完全应用到 Orion 上,不过可以预见的是 Meta AI 未来一定会应用到其全家桶所有产品上。

  结语  

就像苹果发布 Vision Pro,用最高的配置来堆性能一样,这次 Meta 也实实在在地秀了一把肌肉。不过整体来看,OST 路径的 AR 眼镜,由于其要在显示效果、FOV、重量、体积、功耗各方面取得平衡,但是其中几乎都是悖论,所以 AR 眼镜很难实现 " 六边形战士 ",甚至不存在 " 六边形战士 ",而如今 Meta 的产品雏型,更多给了我们一种未来的思考,未来 AR 眼镜的显示迭代、交互以及 AI 功能的应用等。

这是一个好的起点,但距离落地,我们仍然认为存在一定距离。

  第一时间了解 XR 资讯   

   关注 VR 陀螺官网(vrtuoluo.cn)

VR 陀螺的联系方式:

商务合作   |   投稿  :

六六(微信号 13138755620)

寻求免费曝光:

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

逗玩.AI

逗玩.AI

ZAKER旗下AI智能创作平台

相关标签

光波导 ar眼镜 扎克伯格 化学 vr陀螺
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论