OpenAI提前送来了一份圣诞大礼。在2024年12月10日正式发布了旗下视频生成模型Sora。
这个备受瞩目外界的产品被称为Sora Turbo,它支持通过图片和文本生成视频,并增加了风格重混、时间延展、故事版等多种高级功能。业界评价,这是继 ChatGPT 之后,又一款现象级产品,在持续一年热议后, AI 视频创作将开启新范式。
总结其创新点:
独立创作平台。Sora 目前是一个独立于ChatGPT 的网页产品,网址sora.com,拥有Text to Video/Image to Video等基础生成能力。
灵感社区。它拥有一个Explore 广场来展示他人作品,供你发现灵感,并进行remix(这是强大、有力的二创功能)。
突破性的Storyboard 故事板。这是易用性极高的超级工具,将LLMs的语言能力和视频简易编辑巧妙结合,让你快速整理视频故事。Sora 的输入框还集中一系列视频生成能力的工具, 例如recut/trim/remix等,以及支持创建工作空间、文件素材管理等丰富能力。
回顾下sora这波热潮,始自OpenAI在2024年2月16日宣布推出的自然语言视频生成模型”Sora”。
仅通过文本指令,可输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。
OpenAI表示,Sora是能够理解和模拟现实世界的模型的基础,这一能力将是实现AGI(通用用人工智能)的重要里程碑。
业内评价称”比想象中来得更快”,表示”我们真的看到新工业革命来临”,sora彻底破圈。
sora有多火呢?虽然产品还没发布出来,但立马就有人卖课了。
随后国内外各家模型厂商陆续布局AI视频市场。
为什么大家都这么关注AI视频?
以AI视频生成为核心的多模态大模型是现在AI产业发展的关键节点。视频内容融合了文本、语音、图像等多维度信息,其生成技术的背后是对视频数据的数量和质量、算法架构的优化以及物理规律性的把握。
而在实际应用上,AI视频可以几十倍的降低制作成本与提高效率。
在减少实景拍摄,降低制作成本,提高创作效率。例如,在教育课件、专题片、科幻电影等领域;
AI内容质量也更稳定,可以标准化,某些方面AI创作水准超越95%人工,适合企业大规模使用,实现稳定高产出;
另外AI技术可以制作各种抽象和虚幻的视频片段,减少道具浪费等问题。
AI视频市场正处于快速增长阶段,视频A产品的销售情况和产量均呈现出增长态势,国内外科技巨头和初创公司纷纷布局,竞争日益激烈。
我们如何掌握AI视频呢?
对于普通人来说,入门AI视频的关键在于理解工具本身。
AI视频创作的核心是以下三点:
剧本创作:即AI生文。包含剧情设计、钩子、对话等。
分镜镜头:即AI画图。将剧本转化为视觉元素,涉及提示词、绘画工具使用。
视频生成:即AI视频内容生成。包含图生视频、语音、配乐等。
AI剧本创作
剧本内容的实际上引起的是情绪上的共鸣。
AI剧本创作有以下的用途:
1️⃣ 灵感触发
创意的火花常常一闪而过,但有了AI剧本大师,捕捉灵感变得轻而易举。无论是情节构思还是集数规划,AI都能为你提供无限灵感。
2️⃣ 角色塑造
每个故事都需要鲜活的角色。AI剧本大师可以根据你的想法,快速构建人物小传,让每个角色都栩栩如生。
3️⃣ 剧情构建
故事的骨架如何搭建?AI剧本大师帮你梳理剧情大纲,从起伏跌宕到高潮迭起,构建一个引人入胜的故事框架。
4️⃣ 剧本填充
当人物和大纲就绪,AI剧本大师将助力你填充剧本正文,无论是对话还是场景描写,都能一键生成,让你的创作流畅自如。
⑤ 剧本修改/润色
用AI修改/润色剧本,剧情更符合逻辑,语言更自然、流畅,或者增加戏剧性、矛盾冲突、兴趣点设置等。
大模型的预训练数据量数据丰富,远远超过任何一个人的生命经验,只需要合适的引导,就可以产出任何你想要的内容。
那我们如何用AI写出好内容?
如何挑选创作工具(模型)?:模型之间的能力差异巨大,极大程度的会影响你的创作内容质量。
文风与语言能力(Ai味):如果你不加以调教AI,直接产出一段内容的话,充满了“AI味”,你并不能直接使用,需要通过调教,来尽可能克服,并引导出你所需要的内容风格。
知识库(案例):例如短剧创作,上传所需的剧本大纲范例、钩子设置、情节设置、角色定制、分镜、剧情、对白知识文件,让智能体学习剧本大纲情节、节奏特点。故事类型,男女主身份,集数(短片为1,短剧剧本一般是70到80集),时长(每集1到2分钟),剧情节奏(10 30 50集),故事节奏(越详细效果越好,见模板),给智能体打样。
摆脱平庸(灵感):如果不做特殊约束,模型生成的内容往往倾向于人类喜好的最大公约数,也就是生成内容特别平庸,千篇一律,所以核心就是约束:通过控制给AI的信息,才能预留更多可能性。
角色定制:利用AI编剧助手来创建人物小传,我们可以在人物卡片中设定人物信息:角色的姓名、性格特点、生活经历等信息,让角色更加立体和具体细节。
英雄之旅(故事模板):其实好莱坞等大作几乎都是有套路的,最经典的写作范式就是英雄之旅,约瑟夫·坎贝尔发现,全世界的神话都遵循一个特定的阶段和模式,这就是“英雄之旅”理论。但固定结构写出来的故事往往过于受模板或框架的限制,所以需要实践中更为精妙的设计。
短剧创作(梗):短剧中创作有很多非常特殊的 know how,例如卡点,节奏;短剧中有大量的非常特殊的网络梗,比如先婚后爱,追妻火葬场;短剧剧本需要的格式相当特殊。
通过大量的实践,我们得到了一份剧本,终于到画面的部分了。
分镜镜头
分镜是将剧本转化为视觉元素的第一步,包含每个场景的视觉构成,包括相机角度、角色位置和动作等。这方面的核心就是AI生图。
【推荐工具】
2、StableDiffusion
3、即梦(即梦每天都有免费的积分可以使用过,开通VIP的话功能和积分更多一些)
本地搭建一个comfyui,用flux模型免费的,效果接近Midjourney
【工作流程】
1.素材学习:在Midjourney等网站用户社区搜索相关关键词,借鉴生成分镜图像。midjourney搜索相关图片需要付费,原理是一致的。
2.分镜助手:用AI生成图片提示词后,在Midjourney生成图片。
3.图生图转绘制:在StableDiffusion,用controlnet控制一下线稿或者边缘,再用动漫模型来根据线稿生成动漫图片即可,比如一张城市的航拍图,文旅推介片里面有的ai我中华的效果。
【图片处理】
后期处理前置,处理好图片后再生成视频,图生视频,图片质量越好,生成的视频效果也更佳。效果更好,成本更低,解决也更加容易。
视频生成与处理
视频生成是将剧本和分镜转化为实际可视内容的过程,是AI视频创作的最后一步。
不同工具工具流程不同,但大多需要你了解一些基本的影视词汇,你可以在外面这个词法表里获得。
Ai视频提示词大全|适配Sora、Pika、MJ
https://kh18s6uvdi.feishu.cn/wiki/PP0XwDxoZijp8gkB16DcDVCNnb3
为了使得画面更加可控,所以我们直接选择了图生视频,虽然我现在还没拿到sora的权限,但是大部分工具操作上是类似的,以下提供一些关键词:
即梦图生视频关键词:主体+描述+运动
清影图生视频关键词:主体+描述+运动+镜头
LUMA图生视频关键词:主体+描述+运动+镜头
当然关于AI视频有非常多的技巧、实现步骤、要点、风格等,你可以在这个持续更新的列表获得: