谷歌新技术可用AI模型为无声视频配音

第一财经2024-06-19 09:09:18

作者:一财科技    责编:李娜举报

谷歌DeepMind 近日公布了一项利用 AI 为无声视频生成背景音乐的“video-to-audio”技术。

当前 DeepMind 这款 AI 模型依然存在局限性,需要开发者使用提示词为模型预先“介绍”视频可能的声音,暂时不能直接根据视频画面添加具体音效。

据悉,该模型首先会将用户输入的视频进行拆解,此后结合用户的用户文字提示,利用扩散模型反复运算,最终以生成与视频画面协调的背景声音,例如输入一条“在黑暗中行走”的无声视频,再添加“电影、恐怖片、音乐、紧张、混凝土上的脚步声”等文字提示,相关模型就能生成恐怖风格的背景音效。

DeepMind 同时表示,该“video-to-audio”模型可以为任何视频生成无限数量的音轨,还能够通过提示词内容判断生成的音频“正向性”或“反向性”,从而令生成的声音更贴近某些特定场景。

文章作者
第一财经广告合作,请点击这里
此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。
如需获得授权请联系第一财经版权部:
021-22002972或021-22002335;banquan@yicai.com
分享
热度
意见反馈箱:yonghu@yicai.com
客服热线:400-6060101 Copyright 第一财经 ALL Rights Reserved