Sora零基础入门手册学习使用教程

生活百科2周前发布 Ame
99 0

OpenAI提前送来了一份圣诞大礼。在2024年12月10日正式发布了旗下视频生成模型Sora

这个备受瞩目外界的产品被称为Sora Turbo,它支持通过图片和文本生成视频,并增加了风格重混、时间延展、故事版等多种高级功能。业界评价,这是继 ChatGPT 之后,又一款现象级产品,在持续一年热议后, AI 视频创作将开启新范式。

Sora零基础入门手册学习使用教程

总结其创新点:

独立创作平台。Sora 目前是一个独立于ChatGPT 的网页产品,网址sora.com,拥有Text to Video/Image to Video等基础生成能力。

灵感社区。它拥有一个Explore 广场来展示他人作品,供你发现灵感,并进行remix(这是强大、有力的二创功能)。

突破性的Storyboard 故事板。这是易用性极高的超级工具,将LLMs的语言能力和视频简易编辑巧妙结合,让你快速整理视频故事。Sora 的输入框还集中一系列视频生成能力的工具, 例如recut/trim/remix等,以及支持创建工作空间、文件素材管理等丰富能力。

回顾下sora这波热潮,始自OpenAI在2024年2月16日宣布推出的自然语言视频生成模型”Sora”。

仅通过文本指令,可输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。

OpenAI表示,Sora是能够理解和模拟现实世界的模型的基础,这一能力将是实现AGI(通用用人工智能)的重要里程碑。

业内评价称”比想象中来得更快”,表示”我们真的看到新工业革命来临”,sora彻底破圈。

sora有多火呢?虽然产品还没发布出来,但立马就有人卖课了。

Sora零基础入门手册学习使用教程

随后国内外各家模型厂商陆续布局AI视频市场。

Sora零基础入门手册学习使用教程

为什么大家都这么关注AI视频?

以AI视频生成为核心的多模态大模型是现在AI产业发展的关键节点。视频内容融合了文本、语音、图像等多维度信息,其生成技术的背后是对视频数据的数量和质量、算法架构的优化以及物理规律性的把握。

而在实际应用上,AI视频可以几十倍的降低制作成本与提高效率。

在减少实景拍摄,降低制作成本,提高创作效率。例如,在教育课件、专题片、科幻电影等领域;

AI内容质量也更稳定,可以标准化,某些方面AI创作水准超越95%人工,适合企业大规模使用,实现稳定高产出;

另外AI技术可以制作各种抽象和虚幻的视频片段,减少道具浪费等问题。

AI视频市场正处于快速增长阶段,视频A产品的销售情况和产量均呈现出增长态势,国内外科技巨头和初创公司纷纷布局,竞争日益激烈。

我们如何掌握AI视频呢?

对于普通人来说,入门AI视频的关键在于理解工具本身。

AI视频创作的核心是以下三点:

剧本创作:即AI生文。包含剧情设计、钩子、对话等。

分镜镜头:即AI画图。将剧本转化为视觉元素,涉及提示词、绘画工具使用。

视频生成:即AI视频内容生成。包含图生视频、语音、配乐等。

AI剧本创作

剧本内容的实际上引起的是情绪上的共鸣。

AI剧本创作有以下的用途:

1️⃣  灵感触发

创意的火花常常一闪而过,但有了AI剧本大师,捕捉灵感变得轻而易举。无论是情节构思还是集数规划,AI都能为你提供无限灵感。

2️⃣ 角色塑造

每个故事都需要鲜活的角色。AI剧本大师可以根据你的想法,快速构建人物小传,让每个角色都栩栩如生。

3️⃣ 剧情构建

故事的骨架如何搭建?AI剧本大师帮你梳理剧情大纲,从起伏跌宕到高潮迭起,构建一个引人入胜的故事框架。

4️⃣ 剧本填充

当人物和大纲就绪,AI剧本大师将助力你填充剧本正文,无论是对话还是场景描写,都能一键生成,让你的创作流畅自如。

⑤ 剧本修改/润色

用AI修改/润色剧本,剧情更符合逻辑,语言更自然、流畅,或者增加戏剧性、矛盾冲突、兴趣点设置等。

大模型的预训练数据量数据丰富,远远超过任何一个人的生命经验,只需要合适的引导,就可以产出任何你想要的内容。

那我们如何用AI写出好内容?

如何挑选创作工具(模型)?:模型之间的能力差异巨大,极大程度的会影响你的创作内容质量。

文风与语言能力(Ai味):如果你不加以调教AI,直接产出一段内容的话,充满了“AI味”,你并不能直接使用,需要通过调教,来尽可能克服,并引导出你所需要的内容风格。

知识库(案例):例如短剧创作,上传所需的剧本大纲范例、钩子设置、情节设置、角色定制、分镜、剧情、对白知识文件,让智能体学习剧本大纲情节、节奏特点。故事类型,男女主身份,集数(短片为1,短剧剧本一般是70到80集),时长(每集1到2分钟),剧情节奏(10 30 50集),故事节奏(越详细效果越好,见模板),给智能体打样。

摆脱平庸(灵感):如果不做特殊约束,模型生成的内容往往倾向于人类喜好的最大公约数,也就是生成内容特别平庸,千篇一律,所以核心就是约束:通过控制给AI的信息,才能预留更多可能性。

角色定制:利用AI编剧助手来创建人物小传,我们可以在人物卡片中设定人物信息:角色的姓名、性格特点、生活经历等信息,让角色更加立体和具体细节。

英雄之旅(故事模板):其实好莱坞等大作几乎都是有套路的,最经典的写作范式就是英雄之旅,约瑟夫·坎贝尔发现,全世界的神话都遵循一个特定的阶段和模式,这就是“英雄之旅”理论。但固定结构写出来的故事往往过于受模板或框架的限制,所以需要实践中更为精妙的设计。

短剧创作(梗):短剧中创作有很多非常特殊的 know how,例如卡点,节奏;短剧中有大量的非常特殊的网络梗,比如先婚后爱,追妻火葬场;短剧剧本需要的格式相当特殊。

通过大量的实践,我们得到了一份剧本,终于到画面的部分了。

分镜镜头

分镜是将剧本转化为视觉元素的第一步,包含每个场景的视觉构成,包括相机角度、角色位置和动作等。这方面的核心就是AI生图。

【推荐工具】

1、Midjourney

2、StableDiffusion

3、即梦(即梦每天都有免费的积分可以使用过,开通VIP的话功能和积分更多一些)

本地搭建一个comfyui,用flux模型免费的,效果接近Midjourney

【工作流程】

1.素材学习:在Midjourney等网站用户社区搜索相关关键词,借鉴生成分镜图像。midjourney搜索相关图片需要付费,原理是一致的。

2.分镜助手:用AI生成图片提示词后,在Midjourney生成图片。

3.图生图转绘制:在StableDiffusion,用controlnet控制一下线稿或者边缘,再用动漫模型来根据线稿生成动漫图片即可,比如一张城市的航拍图,文旅推介片里面有的ai我中华的效果。

【图片处理】

后期处理前置,处理好图片后再生成视频,图生视频,图片质量越好,生成的视频效果也更佳。效果更好,成本更低,解决也更加容易。

视频生成与处理

视频生成是将剧本和分镜转化为实际可视内容的过程,是AI视频创作的最后一步。

不同工具工具流程不同,但大多需要你了解一些基本的影视词汇,你可以在外面这个词法表里获得。

Sora零基础入门手册学习使用教程

Ai视频提示词大全|适配Sora、Pika、MJ

https://kh18s6uvdi.feishu.cn/wiki/PP0XwDxoZijp8gkB16DcDVCNnb3

为了使得画面更加可控,所以我们直接选择了图生视频,虽然我现在还没拿到sora的权限,但是大部分工具操作上是类似的,以下提供一些关键词:

即梦图生视频关键词:主体+描述+运动

清影图生视频关键词:主体+描述+运动+镜头

LUMA图生视频关键词:主体+描述+运动+镜头

当然关于AI视频有非常多的技巧、实现步骤、要点、风格等,你可以在这个持续更新的列表获得:

Sora零基础入门手册学习使用教程

© 版权声明

相关文章

暂无评论

none
暂无评论...