Oculus原班人马再创业：Sesame AI眼镜能否成为市场黑马？

文 /VR 陀螺万里

近日，Oculus 联合创始人之一 Nate Mitchell 在 Linkedin 宣布将加入一家名为 Sesame 的初创公司，并担任首席产品官。

这一消息引起了业内广泛关注：一是 Sesame 是业内小有名气的 AI 初创公司，二是因为这家公司创始成员中 "Oculus 派系 " 达 2/3，看起来就像是 Oculus 元老集体再创业。

不过，这一次，他们所瞄准的不再是 VR，而是基于 AI 驱动下的智能眼镜平台。

图源：Sesame

Oculus 原班人马相聚于 AI 眼镜赛道

Sesame 成立于 2023 年，如果简单描述，这是一家致力于开发个性化对话式 AI 以及配套的智能眼镜硬件终端的厂商。

根据网络信息，Sesame 团队目前约有 50 人，企业曾在 2023 年 10 月获得 A16z 所领投的 4750 万美元 A 轮融资。

此外，今年 3 月，有消息传出企业正在谋求 2 亿美元的新一轮融资，红杉资本以及 Spark 领投，投后估值将超过 10 亿美元。只不过由于当时具体交易尚未正式敲定，不排除后续有变化的可能。

图源：网络

Sesame 创始团队

从团队成员来看，Sesame 无疑具有很高 "Oculus 含量 "。企业共有三名联合创始人：Brendan Iribe（CEO）、Ryan Brown（工程师）以及 Ankit Kumar（CTO）。

先来简单看一下 Brendan Iribe 的简历，他出生于 1979 年，职业起点是一名游戏程序员，后来创办了游戏界面技术公司 Scaleform，后被 Autodesk 收购。

Iribe 于 2012 年担任 Oculus CEO 一职，并领导了开发套件、Rift、Quest 等产品的开发。他被很多人誉为 Oculus 商业化的最重要推手，因为他让 Oculus 初代产品在 Kickstarter 平台大获成功并且成功主导了 Facebook 的收购案。

Iribe 在 2018 年离开 Facebook，有传言称他辞职的原因在于他倾向于 PC VR，但这与 Facebook 当时的 VR 一体机战略不一致。

在创办 Sesame 之前，他曾参与过一些投资以及汽车锦标赛事，如他曾在 2023 年投资了 AR 初创公司 Brilliant Labs。

Brendan Iribe，图源：网络

Ryan Brown 与 Oculus 同样具有很深的渊源，他曾在 2013 年加入 Oculus 并担任硬件架构师，在 2019-2023 年间，他调往 Reality Labs 并担任工程总监。

最后一个联合创始人 Ankit Kumar 曾创办了 AR 多人在线平台 Ubiquity6，并担任 CTO 一职，该企业于 2021 年被 Discord 收购。

Nate Mitchell 加盟

这里再介绍一下刚入职的 Nate Mitchell 的简历：他同为 Oculus 的联合创始人，也是在 Oculus 任职时间最长的联合创始人之一，在公司担任了多年 VR 产品副总裁一职。

2019 年，Mitchell 宣布离开 Facebook，该事件被外界视为 Oculus 创始团队的终结。2020 年，Mitchell 创办了游戏工作室 Mountaintop Studios 并担任 CEO 一职。工作室曾发布了一款战术设计游戏《Spectre Divide》不过反响平平。

今年 6 月，Mitchell 更新了 Linkedin 简历并宣布加入 Sesame，后续将担任企业的首席产品官一职。他在社交平台上写到，其致力于 "帮助让计算机焕发生机，并将与与 Brendan Iribe、Ryan Brown 以及 Oculus 的众多原班人马重聚，再次携手共创未来。"

也就是说，Oculus 共计有 6 名联合创始人，Sesame 现如今就占据了两席：Brendan Iribe、Nate Mitchell。再说个题外话，Oculus 另外四名联合创始人中，Palmer Luckey 于 2017 年创办了国防公司 Anduril Industries；Michael Antonov 于 2022 年创办生物技术公司 Deep Origin；Andrew Reisse 于 2013 年因车祸不幸离世；Jack McCauley 现如今担任加州大学伯克利分校董事会董事一职。也就是说他们均已离开了 VR 赛道。

Nate Mitchell，图源：网络

软件今年取得重要突破，旨在开发比肩真人的 AI 语音助手

从业务布局来看，Sesame 是一家试图以软件切入再逐步打通智能眼镜硬件的厂商。关于软件，企业所瞄准的是对标真人的 AI 语音助手。

至于为何会从语音助手切入，Sesame 官网给出过以下解释：

声音是我们人类最亲密的媒介，它通过音调、音高、节奏和情感的无数变化，承载着层层含义。

如今的数字语音助手缺乏真正发挥作用的必要素质。如果不能充分释放语音的力量，它们就无法与我们有效地协作。一个只用平淡语气说话的私人助理，在最初的新鲜感消退后，很难在我们的日常生活中找到一席之地。

Sesame 的企业愿景是 " 让计算机焕发生机 "，而团队认为声音会是关键的钥匙所在。在 Sesame 看来，未来的数字伴侣应该具备解读并回应情感背景（情商）、自然的时间、停顿、打断与强调（对话动态）、调整语气和风格以适应情况（情境意识）以及保持一致的个性四大属性。

今年 2 月，团队在语音助手方面取得了较大进展，并对外开源了其对话语音模型（CSM）。普通用户也可以基于其官网"https://app.sesame.com/"免费体验企业所开发的 Maya 以及 Miles 两大语音助手。

图源：Sesame

Sesame 的模型具有以下几大特点：

一、可以联系上下文，因而它可以记住用户的名字、爱好等背景信息；

二、端到端与多模态。与传统的 LLM+ 语音转文本方案不同，它的输入输出由同一神经网络处理，这样的好处在于响应速度更快，并且还能够 " 理解 " 用户交流过程中的一些语音语调等文本以外的情绪信息。

笔者近期也体验了一番，总的来看，除了 Sesame AI 助手不支持中文，网络不太稳定等小问题外，与它对话其实充满了不少惊喜，因为它的响应很快，并且支持打断，就跟与普通人聊天一般，有时候你甚至会感觉它真的带有自己的情绪在里面。

此前团队曾进行过一次主观指标测试：80 名受邀者分别对 Sesame AI 生成语音以及真人录音进行盲听，结果在没有背景信息的情况下误认为 AI 是真人的比例达到了 52.9%；不过，当实验中进一步提供语境信息，误认为 AI 是真人的比例会降至 33.3%。

三、Sesame 对话模型号称采用了双 Transformer 架构，主干模型用于理解文本和对话上下文，而解码器是一个小模型，专注于音频输出。

值得一提的是，今年 6 月，Meta 重金挖走了 Sesame 的机器学习主管 Johan Schalkwyk，外界猜测这可能是为了改善 Llama 大模型的语音和个性化功能体验。

硬件聚焦于眼镜形态，眼动追踪或是标配

关于硬件，Sesame 团队并没有公布过太多进展，不过可以肯定的是这是一副智能眼镜，官网表示它 " 设计为全天佩戴，为您提供高品质音频，并方便与您的同伴一起观察世界。" 此外，Sesame 官网也在醒目的地方贴出了几张智能眼镜开发图片。

从专利来看，目前 Google Patent 可以搜出企业 9 条专利，这些专利核心聚焦于眼动追踪、视觉检索，此处略举几例：《使用眼动追踪功能确定注视深度》、《基于眼睑追踪信息监测心理运动表现》、《使用带有共线光源组件的差分相机的跟踪系统》......

其中一项名为《凝视辅助搜索查询》（US20240419721A1）的专利提到，头戴式设备会基于相机捕获图像，并基于眼动相机洞悉用户所注视的区域对图片进行再加工，如用户关注的是桌子上的花瓶，系统会将花瓶截取下来再进行后续检索等操作。

此外，该专利还展示了 VR/AR 两款产品的简单构造信息，如对于一款眼镜，里面将会集成屏幕、相机、眼动追踪传感器、位置传感器、声学传感器等组件。

值得注意的是，Sesame 已经公开的专利大部分来自眼动技术团队 Zinn Labs 的转让，相关介绍指出，Zinn Labs 一直致力于开发注视和注意力追踪技术，以在极小尺寸上实现新型用户界面。今年 2 月，Zinn Labs 团队已经整体并入 Sesame。

伴随着 6 月底 Nate Mitchell 的加入，企业也开始加大了招聘力度。目前 Sesame 官网共有 14 个岗位空缺，硬件相关岗位有 6 个，涵盖硬件产品经理、电气工程师、嵌入式操作系统架构师、机械工程师等，此举应该是为了加速硬件产品上市所做的准备。

嵌入式系统工程师岗位需求，图源：Sesame

如果横向对比，Sesame 的愿景其实跟 OpenAI 比较类似，基于大模型出发并试图构建 AI 硬件。此外，两家企业都想要打造科幻电影《Her》里面所呈现的 AI 智能终端：AI 可以与用户亲切交流，并且洞察用户需求。

为了开发硬件，OpenAI 曾于今年 5 月斥资 65 亿美元收购了前苹果首席设计师 Jony Ive 的初创公司 io，外界猜测 OpenAI 的新硬件可能是一个类似于 iPod shuffle 或者 AI 耳机之类的产品，它内置 SLM，没有显示功能，分析师郭明錤表示该产品有可能会在 2027 年量产。

再来看 Sesame，企业已经毫不掩饰表明这是一款智能眼镜，眼动功能会是眼镜的核心之一，暂未明确初代产品是否会搭配屏幕。考虑到当前 AI 眼镜井喷的市场现状，产品 2026 年发布会是一个可能性比较大的时间节点。