荣耀 Aaron Hou 博士在个人的小号分享了许多有关荣耀影像技术方面的开发细节，的确干货不少，咱们一起来看看！

荣耀 Magic8 Pro 搭载了 "AI 鹰眼抓拍 4.0" 系统，这已经是荣耀深耕 " 鹰眼抓拍 " 功能的第六年了。第一代 " 鹰眼抓拍 " 系统是在 2020 年的荣耀 10x，当时也是由 Aaron Hou 博士操刀。

" 抓拍 " 这个事，就像炒蛋炒饭一样，看起来最简单、但其中的门道却不少。抓拍的技术难度实际上和广大用户的认知有着巨大的偏差，用户会认为 " 拍出来不糊 " 就应该是相机最基础、最天经地义的事。

那想拍一张清晰的照片，到底有多困难呢？

姑且先不说超长焦，就最常用的基础日常焦段，其实挺难的。生活在这个瞬息万变的世界，拍任何一张照片都是对 " 运动 " 的冻结，不论你拍风吹过树叶、雨打枝头、猫咪舔蛋、还是回眸一笑的女友，都有可能因为快门速度不够而糊掉。

有许多摄影师会通过经验来总结，例如焦段乘 1/2 秒是可以消除手抖的 " 安全快门 "，1/250 秒是拍小孩的 " 安全快门 "、1/1000 秒是拍鸟的 " 安全快门 "，这些摄影经验在相机的时代往往需要摄影师们时刻熟记于心。

但这些 " 经验之谈 " 其实并不算十分可靠，" 安全快门 " 实际上只和一个核心指标有关：运动物体相对相机的角速度在传感器上投影的像素数，也就是模糊像素。（通俗地说就是：速度越大、焦距越大，则模糊越大）（编者注：还有传感器像素密度越高就越容易看出模糊）

所以，所有厂商抓拍方案里面最核心的方案就是基于运动检测来判断，设置最小的能保证模糊像素数的快门，例如 6 个像素通常是人眼可感知的 " 糊 "，那么所有的快门设置就应该满足这个速度。

这个方案听起来很简单，但是就跟 " 人生大道理 " 一样，说起来大家都知道，但做起来可不是那么回事。

首先是要做到准确的运动检测就是非常难的事情。如果调得太过激进，那么会导致快门速度提高太多，" 浪费 "ISO，导致画面的信噪比变差；如果调的太过保守，又会是的快门速度降得太低，达不到抓拍冻结（时空）的能力。

在 2020 年荣耀推出的首个抓拍方案时，当时手机芯片的算力相对有限，荣耀主要是用的是一种叫 " 三帧差 " 的方案，手机会基于帧间差的分布差异，直接基于图像内容的变化来推测是否有运动。当时由于前端比较粗糙，所以后端曝光只能简单分为三档：即 " 物体没动 "、" 物体动了点 " 和 " 物体动得快 "，而且这套方案无法区分是手机在晃动还是物体在动，存在一些劣势。

但是在 2020 年那个时间点，相对于其他手机简单通过几种曝光下预设好的快门速度来抓拍，这个方案虽然显得简单粗暴，但实际效果更好。

到了最近一些年，大部分厂商都采用了更复杂的运动检测方案，例如 " 光流检测 "，就可以明确得到每个图像位置的运动矢量以及大小，再结合 IMU（手机里提供）的数据，就能相对准确地计算出哪些是手机整体移动导致的，哪些是被拍摄物体移动导致的。荣耀则在这个基础上做得会再精细一点，例如结合了人体、动物等主体识别检测，可以更加相对准确地判断出物体动了多快、背景动了多快等等。

结合这些信息，以及当前镜头的焦距，就可以计算出一个比摄影师纯靠经验预估的合理的多的快门时间，既能保证抓拍清楚，又能尽可能使用到最小的 ISO 以保证噪点水平。

但是光流检测也有自己的问题，因为本身的检测数据是基于图像来的，所以对于暗光环境就可能不太准确，并且受限于实时的性能和功耗，检测用的 grid 格子没办法做得很惊喜，如果目标比较小、又是暗光的环境下，可能就很难检测出准确的速度了。

当然这些技术，都是后续运动检测的方向，除非上一些 EVS 事件相机的额外器件，否则这些算法的持续迭代提升可能都不会告知用户，但是还是有一帮算法同学持续地在想办法提升运动检测的精度。

接下来就来到第二点问题，假设快门已经算好了，这个场景就是得 1/200 秒才能抓拍清楚，那就用这个速度就行了吗？但这里还得聊一聊大家容易忽视的要素：频闪。

在复杂的室内光照场景，但凡其中有一个灯光存在频闪，那么过快的快门速度就会导致照片拍出来出现一条一条的明暗条纹。

这个成因是卷帘快门的特性导致的，有兴趣的朋友可以问问 AI 工具详细了解。简单来说，灯光在时间上快速闪烁，所以太短的曝光时间在时间上就一定会取到明暗不一样的画面，巧了 CMOS 的卷帘读出相当于把把空间采样和时间关联上了。最终的结果就是本应该在时间上闪烁（flicker），变成了空间上闪烁条纹（banding）。

所以应该如何解决呢？在最开始的时候其实确实没有特别好的解决方案，正如刚刚所说，当时是基于图像的内容去检测条纹，这就可能会和快门的调整产生 " 自激 "，而且本身基于图像的检测也很难检测出一些高频的频闪。

传统的防频闪方案是保证遵从 1/100 秒的最小曝光，假设交流电的 50Hz 公频是可能的频闪最小频率，那么 1/100 秒就可以保证一定能取到一整个周期，不会产生频闪。但是这种解决方案明显违背了抓拍的初衷，如果室内只能做到 1/100s，那肯定什么都拍不了。

所以如何能准确检测到频闪，也是防止频闪的第一步。假如说手机所处的光源环境下没有频闪，那么直接调整曝光即可。如果手机检测到有频闪，那么就得看下一步了。

刚刚也提到，由于基于图像的频闪检测并不是很准确，所以这些年各家厂商都用上了 flicker 传感器，但是，在去年之前，市面上的几家 flicker 传感器的供应商都不能检测高频，但是现在随着 LED 的进一步普及，以及各种投影仪的复杂投影频率，导致这些 flicker 传感器其实大部分时候就像个瞎子一样，不知道大家有没有遇到友商拍出 LED 灯带高频频闪的抓拍画面，或者投影仪直接花屏的画面的情况？

所以荣耀在 Magic6 开始，就自研定制了一颗高频 flicker 传感器，实现了 20kHz 的检测频率，这颗传感器可以同时检出环境里所有的频闪频率和深度，再配合荣耀自研的 AE 算法就能准确检测。其实这其中的逻辑也挺简单：可以忽略深度浅的频闪（因为深度浅，拍出来也看不出来），所有检测到的频闪深的频率，就最小公倍数来算曝光，就能规避掉这个问题。

当然有些时候因为环境特别亮（特别是一些对街道的门店，又亮光源还闪），算出来的曝光会导致画面过曝，因为荣耀这些年也不是每个产品都有可变光圈，这种情况即便无法设置合理曝光保证无频闪，但是可以算一个帧率，通过微调 fps 和光源频闪同步，这样即便消除不了频闪，但是可以稳定频闪不随时间变化，这一点在预览和录像特别明显，否则很多时候满屏幕黑条往下滚是最讨厌的。

今年，荣耀 Magic8 系列还根据这个 flicker 传感器做了个光源频闪健康的检测功能，发布会看了的同学应该有印象。而且从今年开始，高频的 flicker 传感器供应商也跟上来了，友商后续能力也会慢慢拉齐一致。

不过，频闪的根本原因之一还是 CMOS 的卷帘快门问题，所以更快的读出乃至全局快门，是解决频闪的最优解（当然即便全局快门也会有帧间的 flicker，但最起码每张图不会有条纹）。所以提升 readout 已经是各个 sensor vendor 的共识（苹果确实做的好数据不说了），但是就目前复杂的 sensor 模式，考虑到 ADC 数量对工艺成本影响，在双帧 HDR 等模式下输出读出加倍恶化的问题短时间内不会消除，所以还是需要持续的算法优化，也就是下面要说的。

顺便说一嘴相机，因为绝大部分微单至今还保留着机械快门，至少前后一帘，所以卷帘速度可以认为是它的读出速度也等效闪光同步速度，大部分都是 1/250 秒，也就是 4ms 读出速度左右，所以这个问题在相机上并不会很明显，当然类似索尼 α 9 III 这种相机搭载了全局快门，就确实在理论上做到了无频闪（至少拍照没有）。

说完了运动检测和频闪的问题，假设这俩问题都解决了，那么接下来还有画质的问题。

总的来说有三点会导致画质出现问题

1、过快的曝光速度会导致 ISO 普遍高，容易产生噪点，特别是在预览的时候，如果没有解决好预览时的降噪方案，那么亮度只要稍低一点，预览界面的噪点就会满天飞。

2、HDR 场景在运动的情况下合成的鬼影问题多，特别是曝光时间短的情况下帧率也还是 30 帧，无形之中就加剧了运动配准的困难。

3、在极个别场景下，无论是传感器漏检还是计算出问题，仍然有可能出现频闪条纹。

针对这些问题，在 Magic6 系列上，荣耀就正式商用 DOL 抓拍方案，也就意味着抓拍时候传感器会工作在 60fps，长短帧交替输出，但是和用 DOL 做 HDR 不一样，预览不是送 HDR 合成，而是显示长曝光帧，满足 1/100s banding step，所以永远不会让用户看到频闪，而且因为曝光时间略长，所以画质可以保证，而同时输出的短帧，则动态缓存在内存中，这些短帧根据上面讲的运动降曝光出帧，保证运动模糊的最小化，在用户拍照的瞬间，这些长短帧做融合，同时解决信噪比、HDR 和抓拍清晰度问题。

这就是荣耀的 Motion Capture 方案，从 Magic6 开始，经过了软件和算法三代的打磨，在几乎全场景和全焦段支持了这种双帧抓拍策略，这是软件复杂度，功耗性能的巨大挑战。但即便如此，在一些非常极端的场景，比如夜晚极高动态而且有特别严重频闪的广告牌，这个时候就只能选择扔掉 HDR 或者抓拍，期待随着生成式模型的成熟，可以更完美的解决这种场景。

那么第一期就到此结束了，后面还有关于对焦、防抖、AI、预拍摄等等功能，想要知道更多有关荣耀影像技术的朋友，请记得一定关注下一期哦 ~

-