2024CTIS-文章详情页顶部

影视AI修复 :视觉大模型修复经典老港片 | 创新场景

最大的挑战不是算法技术,而是如何保留影片原有的艺术风格。

图片由AI生成

图片由AI生成

痛点

电影修复工艺繁杂琐碎,即便是经验丰富的修复师,也需要1个月的时间。火山引擎首次将视觉大模型应用于老片修复场景,借助其强大的生成能力和丰富的先验知识,实现修复效果在清晰度、色彩、流畅度和瑕疵消除等方面的全方位提升。

解决方案

针对老旧电影修复的特殊场景,火山引擎对视觉大模型做了三方面算法优化:在图像生成方面,通过控制模型的边界条件、强化高质量生成空间等手段,显著提升大模型的图像输出质量;在视频场景里,通过采用设计时域的自编码器、光流特征对齐、时域条件约束等技术手段,让大模型在修复的过程中可以使用前后帧的信息,更好地处理视频任务;火山引擎还联合Intel在算法和工程上进行了多项优化,显著提升大模型在4K场景下的处理效率并兼顾算力成本。

老港片修复最大的挑战不是算法技术,而是如何保留影片原有的艺术风格。火山引擎和中国电影资料馆不断测试和反复调优,才达到算法服务于艺术的理想效果。以色偏和色彩的处理为例,此前的AI算法能够完成和优化一系列客观上色彩的问题,但对于部分艺术色彩上的还原容易产生偏差,火山引擎摸索了一种AI加速艺术修复的方案,能通过学习人工修复片段的数据获得更理想的色彩方案效果,从而加速修复进程。

成效

整体来看,大模型生成能力强,修复效果优于之前的算法,画面细节更自然;同时,大模型具有非常强的信息结构化能力,在学习了海量数据后,可以在其中提炼出大量的知识并“存储”在模型参数之中,其生成空间更丰富,能够应对更多的修复场景。

「关于创新场景50」

场景不是案例,它更加精准、也更加抽象。数字化就是创新场景的不断叠加和迭代。

在此背景下,钛媒体重磅推出「创新场景50」评选,每年遴选并解读50个全行业与业务深度融合的创新性场景及其解决方案,并在钛媒体年度ITValue Summit 数字价值年会上隆重颁奖、深度交流。

目前场景正在征集中,更精准的解读、更广泛的曝光、更强大的品牌势能,欢迎你提出问题,更欢迎你留下解决的方法和工具。点击这里投递更多场景信息

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

20:14

广发证券官宣董事会换届:林传辉连任董事长,秦力升任总经理

20:06

5月11日新闻联播速览19条

19:53

国常会部署全面实施三大粮食作物完全成本保险和种植收入保险政策

19:48

市场监管总局副局长蒲淳会见瑞士联邦经济总局局长

19:46

特斯拉德国工厂遭示威者冲击,多人被捕

19:37

消息称京东“小时达”将改名为“秒送”

19:30

国常会审议通过《制造业数字化转型行动方案》

19:26

以太坊日内跌超5%

19:16

2024年国家医疗保障基金飞行检查正式启动

19:14

全国23个城市全面取消限购,超50城支持住房“以旧换新”

19:13

四部门:推动环境要素市场建设,分阶段逐步扩大我国碳市场行业覆盖范围

19:12

四部门:各金融机构要在整体战略中充分考虑对经济社会绿色转型的适应性,将气候风险纳入整体风险管理体系

19:09

事关特殊医学用途配方食品,临床试验过程有新规

19:00

4月网信办受理违法和不良信息举报超2000万件

18:58

4月我国动力电池装车量35.4GWh,同比增长40.9%

18:56

4月我国动力和其他电池合计出口12.7GWh,同比增长28.5%

18:55

4月我国动力和其他电池合计销量为73.5GWh,同比增长57%

18:47

央行4月重要金融数据一览:前四个月社融同比少增3.04万亿,人民币存款增7.32万亿

18:45

伊拉克石油部长:下次欧佩克+会议上不会同意延续减产措施

18:40

上海国投公司与临港集团合作发起设立元创未来基金

5

扫描下载App