
V-Express简介:
V-Express是由南京大学和腾讯AI实验室共同开发的一项技术,旨在通过参考图像、音频和一系列V-Kps图像来生成说话的头像视频。这项技术可以根据不同的信号,如声音、姿势、图像参考等来控制视频内容,确保即使是弱信号也能有效地影响最终生成的视频,使视频生成更加逼真和多样化。
V-Express通过一系列渐进式的丢弃操作来平衡不同的控制信号,逐步实现由弱条件有效控制的生成能力,从而同时考虑姿势、输入图像和音频。

底层技术
在肖像视频生成领域,使用单张图片生成肖像视频的做法越来越普遍。常见的方法包括利用生成模型增强适配器以实现可控生成。
然而,控制信号的强度可能不同,包括文本、音频、图像参考、姿态、深度图等。在这些中,较弱的条件经常因为较强条件的干扰而难以发挥效果,这在平衡这些条件中构成了挑战。
在关于肖像视频生成的工作中,发现音频信号特别弱,常常被姿态和原始图像这些较强的信号所掩盖。然而,直接使用弱信号进行训练往往导致收敛困难。为了解决这个问题,提出了一种名为V-Express的简单方法,通过一系列逐步的弱化操作来平衡不同的控制信号。该方法逐渐使弱条件能够有效控制,从而实现同时考虑姿态、输入图像和音频的生成能力。

使用方法
重要提醒~
在讲话面孔生成任务中,当目标视频中的人物与参考人物不同时,面部的重定向将是非常重要的部分。选择与参考面孔姿势更相似的目标视频将能够获得更好的结果。
运行演示(第一步,可选)
如果你有目标讲话视频,你可以按照下面的脚本从视频中提取音频和面部V-kps序列。你也可以跳过这一步,直接运行第二步中的脚本,尝试提供的示例。
python scripts/extract_kps_sequence_and_audio.py \ –video_path “./test_samples/short_case/AOC/gt.mp4” \ –kps_sequence_save_path “./test_samples/short_case/AOC/kps.pth” \ –audio_save_path “./test_samples/short_case/AOC/aud.mp3”
建议裁剪一个清晰的正方形面部图像,如下面的示例所示,并确保分辨率不低于512×512。下图中的绿色到红色框是推荐的裁剪范围。

运行演示(第二步,核心)
场景1(A的照片和A的讲话视频)
如果你有A的一张照片和另一个场景中A的讲话视频,那么你应该运行以下脚本。模型能够生成与给定视频一致的讲话视频。你可以在项目页面上看到更多示例。
python inference.py \
–reference_image_path “./test_samples/short_case/AOC/ref.jpg” \
–audio_path “./test_samples/short_case/AOC/aud.mp3” \
–kps_path “./test_samples/short_case/AOC/kps.pth” \
–output_path “./output/short_case/talk_AOC_no_retarget.mp4” \
–retarget_strategy “no_retarget” \
–num_inference_steps 25

场景2(A的照片和任意讲话音频)
如果你只有一张照片和任意的讲话音频。使用以下脚本,模型可以为固定的面孔生成生动的嘴部动作。
python inference.py \
–reference_image_path “./test_samples/short_case/tys/ref.jpg” \
–audio_path “./test_samples/short_case/tys/aud.mp3” \
–output_path “./output/short_case/talk_tys_fix_face.mp4” \
–retarget_strategy “fix_face” \
–num_inference_steps 25

更多参数
对于不同类型的输入条件,如参考图像和目标音频,提供了参数来调整这些条件信息在模型预测中的作用。将这两个参数称为 reference_attention_weight 和 audio_attention_weight。
可以使用以下脚本应用不同的参数以达到不同的效果。通过实验,建议 reference_attention_weight 取值在 0.9-1.0 之间,而 audio_attention_weight 取值在 1.0-3.0 之间。
模型下载
·stabilityai/sd-vae-ft-mse
·runwayml/stable-diffusion-v1-5。这里只需要unet的模型配置文件。
·facebook/wav2vec2-base-960h
·insightface/buffalo_l
数据评估
关于V-Express特别声明
本站顺为导航提供的V-Express都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由顺为导航实际控制,在2024年9月13日 下午7:26收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,顺为导航不承担任何责任。
相关导航

BlurOn是一款先进的AI驱动视频自动马赛克插件,专为自动添加马赛克和模糊效果而设计。它能够自动识别并处理视频中的脸部、头部、全身、车牌等元素,以高达99.7%的精度完成编辑工作...

可灵大模型
可灵大模型是由快手AI团队自...

VideoDoodles
VideoDoodles是一款能在视频中轻松任意插入手绘动画并与视频内容无缝融合的ai工具,它将视频内容与手绘动画相结合,制作出独特的视频剪辑。通过利用3D场景重建技术,VideoDoodles...

Autoshorts.AI
AutoShorts.AI 是一个 AI 驱动的平台,专门用于生成和自动发布无面短视频。它可以将主题和提示转换成简短的垂直视频,并自动发布到 YouTube 和 TikTok。其主要功能包括视频生成、...

讯飞听见字幕
讯飞听见字幕是一款基于科大讯飞语音识别技术的AI视频字幕制作软件,提供视频加字幕,自动添加字幕,视频翻译,字幕时间码匹配等功能的自动生成字幕软件,支持生成SRT/ASS/XML等格式,支...

零一万物
零一万物是一家由李开复博士...

Hotshot
Hotshot 是一款 AI 视频生成工具,能够将文本快速转换为高质量的 3 秒视频。用户只需输入简短的文本提示,Hotshot 即可在一分钟内生成一个独特且引人入胜的 3 秒视频。支持各种文...

Morph Studio
Morph Studio是集AI文生视频,AI图生视频,AI视频风格转换等多合一视频制作平台,专为创作者和营销人员设计。通过简单的文本输入,用户可以生成高分辨率、最长7秒的短视频。提供多...
暂无评论...