OPPO 在以 “跃迁 · 致善”为主题的未来科技大会 2020(OPPO INNO DAY 2020)上,首次推出 OPPO FDF 全维人像视频技术系统。该系统由感知人像和画质增强两大引擎组成,分别针对人像拍摄时的人物主体和整体画面进行针对性优化。据悉,首款搭载该系统的产品将在 12 月问世。
OPPO 介绍,FDF 全维人像视频技术系统由感知人像和画质增强两大引擎组成,分别针对人像拍摄时的人物主体和整体画面进行针对性优化,共同实现人美、景美的拍摄效果,不管是单人还是多人,白天、夜间还是逆光,都可以实现全时段视频创作自由。
具体来说,感知人像引擎拥有 AI 人脸检测、AI 超清人像、OFL 肤质优化算法、人脸畸变矫正等功能,拒绝千篇一律,让拍摄的作品更自然、真实、动人。
AI 人脸检测通过对网络模型的优化,实现 99.78% 的检测准确率和 25ms 的单帧检测耗时,不管是拍视频还是拍照,都能快速的检测出人脸区域,为后续脸部优化圈定精确的范围。
同时,AI 算法在人脸区域标记了 296 个关键点来实现五官和轮廓细节的区分,并加入关键点是否可见判断、人脸角度判断等辅助信息,最终在业界权威的 WFLW 数据集上实现低至 4.71% 的 NME,这套算法在移动平台上的运行帧率达到了 200fps 以上。
AI 超清人像在深度神经网络模型中设计了 3 个子模块对人脸进行超分计算、降噪优化和锐度优化。即使在暗光环境下,也能通过算法精准检测脸部和邻近区域并进行增强处理。
OFL 肤质优化算法能分别对肤色和肤质进行 AI 处理,拍摄时帮助用户去掉脸部瑕疵、优化皮肤表现、让整体气色更出众。这套算法可实现 96.5% 的皮肤区域的分割,面部皮肤精度达到了 97.4%。“肤色检测”范围不仅包括脸部皮肤,也包括脖子和手部的皮肤,几乎涵盖在拍摄人像视频时会露出的所有皮肤区域。
OFL 肤质优化算法还能实现 AI 祛瑕疵效果,智能识别区分天生特征和后天瑕疵的特征,实现更自然地祛瑕疵效果。斑、痘、眼袋等后天瑕疵会被去掉,泪痣等天生脸部特征得到保留。
人脸畸变矫正在处理人脸畸变时,取透视投影中的背景部分,同时对人脸区域进行切割分离、再做一次球面投影,让人脸保持正常的、符合人眼观看习惯的形状。
画质增强引擎则包含新一代超级防抖算法、移动延时摄影、超级夜景视频、DOL-HDR 等功能,可在画面抖动较大、光线不足 / 过亮等场景下保障拍出满意画面。
超级防抖算法加入场景检测过程,通过抓取陀螺仪、加速度计和 Sensor 的数据分别对运动轨迹、姿态和曝光进行判断,从而区分不同场景,匹配不同的防抖策略。
针对手持移动延时摄影,OPPO 在超级防抖算法中加入运动趋势判断,不仅可以使被抽取的多帧画面之间的过渡更平滑,还可以实现更长时间跨度的防抖,让移动延时摄影的实拍表现几乎达到云台效果。
超级夜景视频在前代算法基础上和 HDR 算法进行融合,针对亮度调整曲线进行区分调试,算法先会根据当前的亮度环境智能判断启用夜景还是 HDR 亮度调整曲线,实现更通透、观感更好的视频效果。
DOL-HDR 方案解决用户逆光拍摄痛点,其长短曝光帧几乎是同时进行,大幅缩减了前后帧的间隔时间,大大改善鬼影问题,实现更好的 HDR 视频拍摄效果。
OPPO 表示,首款搭载 OPPO 人像视频技术系统的新品将于 12 月份问世。目前 OPPO 在 HDR、夜景、超级防抖等方面的技术已经陆续开放给抖音和快手等第三方平台使用。
关键词:
责任编辑:Rex_02