盖世汽车 04-07
Qt Group:AI赋能的HMI敏捷开发——Qt框架如何重构舱驾融合新范式
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

2025 年 3 月 19 日,在第五届中国汽车人机交互与体验设计创新大会上,Qt Group 中国商务拓展经理高森介绍了 Qt 框架在汽车行业的广泛应用,特别是在智能座舱 HMI 设计方面。他指出,Qt 支持的 3D 场景设计为车辆设置、控制、状态显示等提供了丰富的功能。

高森还详细阐述了 Qt Design Studio 在 HMI 创建流程中的重要作用。从二维素材导入、界面设计,到三维素材导入和 3D 场景设计,Qt Design Studio 提供了一个完整的设计流程。此外,它还支持时间轴动画、状态管理、后期处理效果等功能,使设计师能够轻松创建逼真的用户界面。

他提到,Qt AI 助手能够帮助开发人员提高编码效率,提供专家级的 QML 编程建议,并自动生成测试用例和代码文档。此外,Qt 还在不断优化其 AI 工具,以满足更高的安全性和隐私保护要求。这些创新技术将共同推动 HMI 软件全生命周期的重塑和发展,为汽车行业带来更多的创新和可能性。

高森 | Qt Group 中国商务拓展经理

以下为演讲内容整理:

作为 HMI 框架,Qt 的运作离不开硬件芯片及操作系统中间件的坚实支撑,我们积极与市场上主流的芯片制造商及操作系统提供商建立了稳固的合作关系。例如,对于高通与联发科等业界领先企业所推出的高性能芯片,我们都为其提供了展示先进技术的 3D 演示应用,旨在彰显其卓越性能。同时,我们也与一些历史悠久的汽车芯片供应商,如德州仪器、恩智浦、瑞萨电子等,维持着紧密的合作关系。

近期,国产化成为行业内热议的话题。当瑞芯微的 RK3588、RK3576 以及杰发科技的 AC8025 等芯片成功流片后,我们迅速响应,为这些芯片提供了 Qt 框架的适配方案。无论我们的客户或主机厂选择的是 Linux+Android(L+A)方案、QNX+Android(Q+A)方案,还是其他创新方案,Qt 作为一个跨平台的 HMI 框架,均能轻松运行于各类操作系统之上。正因如此,Qt 已成为众多主流 VM 供应商以及 Tier 1 的首选。

近年来,HMI 领域的一个显著发展趋势是围绕着 3D 技术的应用展开。随着车载计算平台算力,特别是 GPU 算力的显著提升,我们现在有能力实现极为生动和吸引人的视觉效果。然而,要高效利用 GPU 资源,必须将 HMI 框架与汽车制造商的操作系统深度整合,共同打造专属的 3D 系统。

以现代汽车为例,其旗下的现代、起亚和捷尼赛斯三大品牌均采用了 Qt 作为 HMI 开发框架。同时,我们还与现代汽车共同开发了互联操作系统,Connected Car OS。通过这一中间件,我们成功地屏蔽了底层操作系统和硬件芯片的差异,使得现代汽车集团及其供应商,如 LG 等,能够将精力集中在应用层的开发上,从而极大地降低了人力成本。 

此外,通用汽车与我们建立了深入的合作关系,共同打造其下一代软件定义汽车平台—— Ultifi。通用汽车近期与一家公司的合作中,采用了该公司的 Safety Linux 作为域控制器解决方案。在这个项目中,Qt 不仅提供了常规的 2D 和 3D 渲染功能,还满足了 ASIL B 级别的安全渲染需求。

另外,Qt 与梅赛德斯奔驰也有合作,最早可追溯至 2013 年。在奔驰最新的 MB.OS 及其相关系统中,Qt 也发挥了重要作用。特别是在其 HYPERSCREEN 系统中,Qt 的先进窗口管理技术被用作其界面支撑的核心技术之一。

我们不禁要问,Qt 究竟提供了哪些独特价值,能够赢得这些国际知名 OEM 的青睐?首要原因便是 Qt 引擎的独特性——它是一个完整且统一的 2D 与 3D 渲染引擎。对于技术人员而言,采用单一的 3D 引擎进行开发时,往往会遇到这样一个难题:当需要在 3D 界面上叠加 2D 触控或操作元素时,这些 2D 内容往往无法由 3D 引擎直接提供,而需要引入第三方的 2D 解决方案。这种做法会导致 2D 与 3D 内容无法在同一渲染上下文中进行,从而引发同步与效率方面的问题。在 Qt 的引擎中,这些问题将不复存在。Qt 提供了一个统一的设计工具,能够轻松应对 2D 与 3D 的渲染需求,无需担心上下文不一致的问题。

图源:演讲嘉宾素材

其次,Qt 提供了灵活的渲染后端选择。针对不同类型的平台,开发者可以根据需要选择适合的渲染 API,如 Vulkan 或 OpenGL 等,以满足特定的渲染需求。此外,Qt 还面向设计师推出了一款低代码开发工具—— Qt Design Studio。这款工具极大地简化了设计流程,设计师只需通过拖拽操作,即可轻松实现所见即所得的设计效果,无需编写复杂的代码。

另外是 Qt 在 2D 资产导入方面的优势。当前,设计师主要使用如 Figma 和 Photoshop 等工具进行原型设计。传统的工作流程中,设计师需要将设计稿交给程序员进行集成,这一过程往往繁琐且耗时。Qt 通过 Bridge 插件,实现了设计资产的一键导入功能,设计师只需将设计稿导入到 Qt Design Studio 中,该工具便能自动生成相应的代码,极大地提高了工作效率。

其次,Qt 还支持 3D 资产的便捷导入,设计师可以将常见的 FBX 等 3D 文件格式直接拖入 Qt 引擎中。Qt 能够高度还原设计端的内容,包括材质、纹理、灯光效果,甚至动画,均能得到完美支持。此外,Qt 还涵盖了常规的 2D 设计、3D 设计、状态机管理、数据绑定以及时间轴动画等功能,特别是强大的动画系统,为设计提供了更多可能性。

为了进一步优化 HMI 效果,Qt 还配备了针对后期特效处理的独立工具,使设计师能够轻松调整 HMI 的视觉效果。同时,Qt 还提供了便捷的部署功能,设计师可以将设计作品直接部署到安卓设备或嵌入式板卡上,实时查看效果。由于 Qt 支持跨渲染 API,设计师还可以将设计好的作品拖拽到浏览器中,利用 Web 技术直接在浏览器内播放设计,从而方便不同部门之间的工作协调与展示。

此外,我们还提供了一系列其他特性以满足多样化需求。鉴于国内中控系统主要以安卓为主,我们现已增加了对安卓原生环境的支持,开发者可以在安卓原生开发环境中,轻松地将 Qt 的渲染场景嵌入到 Android Studio 项目中,实现无缝集成。

另一个值得关注的特性是关于 Rendering   Service,即多窗体渲染解决方案。我们通过后台运行的统一 Qt 渲染服务,能够支持多个窗体在不同场景下的渲染需求。我们不仅针对多窗体下不同视角的渲染进行了优化,还提供了一套完整的渲染生命周期管理方案,以及不同进程间的通信解决方案。这一创新功能预计将在 Qt 6.12 长周期版本中发布,为用户提供更为高效和灵活的多窗体渲染体验。

众所周知,仪表域对安全性的要求极高。Qt 是目前市面上所有 HMI 解决方案中,唯一一款通过 ASIL B 级别渲染引擎认证的渲染引擎。我们凭借对硬件的支持,如高通 DPU 的校验功能,以及英飞凌单片机上的安全引导机制,成功实现了监控与安全渲染的综合解决方案。

除了拥有经过认证的安全渲染引擎外,我们对软件质量也始终保持着极高的追求。为此,公司收购了多款测试工具,旨在全面保障软件质量。这些工具涵盖了界面自动化测试、代码动态测试、代码静态测试以及软件架构测试等多个方面,确保整个软件生命周期内的可控性。通过这些工具,我们能够有效地监控和管理软件的开发过程,确保最终产品的稳定性和可靠性。

接下来探讨 Qt 在 3D 技术领域的演进,以及当前业界的相关发展趋势。目前,市面上主流的车型普遍配备了所谓的 SR 技术,它主要应用于 ADAS 场景中。在这种场景下,为了实现车道变换、周围环境重现等功能,需要展示自车模型、周围车辆模型、道路边缘、行人等元素,且这些元素需符合当前主流审美标准。此外,泊车场景、环视等功能也是当前市场竞争的焦点。

我们在今年 CES 上展示了一个 demo,该 demo 展示了完全实时的渲染效果,通过不断提升 GPU 的计算能力,可以实现类似大型游戏级别的 3D 场景设计。这个智慧出行的 demo 不仅适用于车辆的自动驾驶领域,还可以拓展到航空、航天合成影像、大型游轮、农用机械等多个领域的自动驾驶渲染需求。

如果过度依赖硬件性能来展现 3D 效果,整个行业可能会陷入一种炫技式的恶性竞争。目前而言,车载芯片的算力上限以 8295 为代表,进一步提升 GPU 性能已不再是主流趋势。一个值得深思的问题是,这些炫酷的 3D 设计是否真的能直接提升车辆销量?在主机厂面临降本增效压力的背景下,我们或许需要探索其他途径来帮助主机厂实现既定目标。

针对这一现状,Qt 提出了一些解决方案和思考。首先,在架构选型上,我们注意到一些车企正在采用 LXC 系统方案。这一方案能够省去某些中间层,同时稳定地复用安卓生态。具体而言,可以在一个容器内实现仪表域的功能,而在另一个容器内运行安卓域的应用。Qt 作为一款轻量级且运行效率高的引擎,能够完美适配较低端的硬件平台,在面对需要高算力及复杂应用的场景时,Qt 同样表现出色。

我们甚至可以将 KDE 的桌面系统移植到当前的主流硬件平台上,如联发科的 8678 等。我们已对此进行了 POC,证明了其可行性。KDE 作为一个在 Linux 领域广为人知的协会,其提供的 KDE Plasma   Linux 系统同样适用于嵌入式领域。

目前,我们已在高通和联发科等强大平台上实现了 Linux 桌面的定制化开发。这不仅使我们能够进行 2D 和 3D 渲染,还允许我们将游戏生态引入其中。一个典型的例子是 Steam Deck,这款设备能够将 PC 上的游戏完全运行在一个小型的平板电脑上。未来,如果车机采用 Linux 桌面的解决方案,那么同样可以复用这一游戏生态,为车主提供更加丰富的娱乐体验。

我们始终强调,Qt 不仅仅是一个 HMI 框架,更是一个具备高度兼容性的平台。下图左侧图片展示了在 Figma 中完成的 2D 设计,右下角则是 Unity 引擎构建的场景,通过简单的两行代码,Qt 便能实现对 Figma 设计的支持以及 Unity 场景的集成。这一效果展示了 Qt 作为框架的灵活性,它能够打包成 APK 文件,通过 Qt 框架实现 2D 渲染,并与其他引擎无缝集成。事实上,许多车企已采用 Qt 作为框架基础,利用其进行 2D 渲染,并方便地复用素材到其他引擎中。

Qt 作为一款开源编程语言,在互联网上拥有丰富的学习资源和文档。我们测试了主流的大模型对 Qt 编程语言的支持情况,结果令人惊喜。Qt Creator 中的一个插件—— Qt AI 助手,目前能够实现的功能包括代码自动生成以及为现有代码提供专家级的建议。此外,它还能根据用户编写的代码生成相应的测试用例,主要以辅助编码的形式提供服务。

我们测试了通用大模型对 Qt 编程语言的支持情况,结果显示,通用大模型对 Qt 语言的支持度已经非常高。在官方测试的一百多个测试用例中,Cloud 3.5 模型已经能够正确处理其中的 66%。这一结果表明,AI 在某种程度上已经能够替代中等水平以下的 Qt 程序员的工作。

关于大模型的集成,我们的插件支持市面上所有主流的大模型,包括 DeepSeek 等,同时也支持用户通过第三方 API 或私有云进行接入。特别地,针对对数据安全有极高要求的客户,如国防军工领域,我们提供了本地部署大模型的接入方式,确保数据在闭环内处理,不会上传至外部服务器。

最后,我们对未来进行一些展望。首先,AIGC 是一个值得关注的领域,当前,图文视频类的扩散型大模型已经展现出极高的智能水平,例如通过 Diffusion 模型,我们可以实现文本生成图像、图像生成图像等功能。此外,3D 扩散大模型也能根据描述生成 3D 模型。我们计划将这些大模型集成到 Qt 设计工具中,例如通过 Bridge 插件,用户可以轻松地将 2D 图片资源和 3D 模型导入到设计工具中,从而极大地提升设计效率和创造力。

另一个重要的应用方向是 RAG 技术,它允许我们构建本地知识库。对于 Qt 的资深用户而言,他们可以将自己过去积累的文档和项目经验整合成一个本地知识库,便于内部成员快速调用。我们官方也在积极推进这一方向,基于我们对 Qt 的深入理解,未来将打造一个官方知识库,用于生成帮助文档。

最后一个则是 Agent 形态,这是当前技术发展的一个热门方向。我们计划通过集成 MCP 协议,实现 Agent 的完全形态。届时,用户只需提出需求描述,Agent 便能调用 Qt 全栈工具,自动生成 2D 或 3D 设计。

(以上内容来自 Qt Group 中国商务拓展经理高森于 2025 年 3 月 19 日在第五届中国汽车人机交互与体验设计创新大会发表的《AI 赋能的 HMI 敏捷开发:Qt 框架如何重构舱驾融合新范式》主题演讲。)

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 芯片 gpu 供应商
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论