AI启航（AICHINES） -AI知识库与前沿资讯平台前言
轻松上手！文生图到图生视频的全流程详解，大小朋友都能秒懂！
在大语言模型和绘图模型的助力下，我们和小伙伴们一同探索了从视频剧本构思到视频落地的奇妙旅程。无需过多繁文缛节，我们直接带来这份详尽易懂的教程，确保你能够轻松掌握每一个步骤！
在学习之前，不妨先欣赏一下我们精心制作的视频短片，它将是你学习的最佳预热材料。
一、前期准备
1.1 确定主题
鉴于当前AI技术的飞速发展，央视已率先发布了多组AI制作的视频短片。为了响应这一潮流，我们也计划利用AI技术，创作一部紧扣时代脉搏的短片，聚焦于“一带一路”倡议下的丝绸之路主题。经过团队深入讨论和思维碰撞，我们确定了这一创意方向，并准备借助先进的大语言模型来进一步激发创意灵感。以下是部分可供参考的创作方向，它们将为我们的小视频提供丰富的素材和灵感来源。
1.2 工具探索
在深入探索了AI工具的广阔领域与视频制作的各个环节后，我们发现了众多高效能的视频生成利器。为了打造出既具创意又符合标准的视频作品，我们精心挑选并测试了一系列工具。最终，我们决定采用以下组合来构建我们的项目：
- 剧本与分镜设定：我们选择了大语言模型ChatGPT和Kimi作为我们的创意伙伴。这两个工具凭借其强大的自然语言处理能力和智能建议系统，帮助我们精准地构建了视频剧本，并细致规划了每一帧的分镜设计，为视频奠定了坚实的基础。
- 视觉画面生成：为了将剧本中的文字转化为生动的视觉形象，我们采用了Midjourney这款文生图工具。它能够根据我们提供的描述，自动生成高质量的图像，为视频提供了丰富多彩的视觉元素。
- 图生视频制作：在即梦Dreamina的助力下，我们将静态的图像转化为流畅的动态画面。这款工具以其卓越的图生视频技术，让视频中的每一个场景都栩栩如生，极大地增强了观众的沉浸感。
- 音乐编曲：为了营造恰到好处的氛围，我们选择了Suno音乐编曲工具来创作背景音乐。Suno的丰富曲库和灵活编曲功能，使我们能够轻松地为视频搭配出最符合情感基调的音乐。
- 主角台词配音：为了赋予视频角色以生命，我们使用了Ondoku进行台词配音。Ondoku的语音合成技术能够模拟出各种逼真的声线，让我们的主角更加鲜活、立体。
- 视频剪辑：在视频制作的最后阶段，我们选用了剪映这款功能强大的视频剪辑软件。它不仅提供了丰富的剪辑工具和特效选项，还内置了大量无版权音效，极大地简化了我们的后期制作流程。当然，对于某些特定需求的音效，我们也从网上下载了无版权资源，以确保视频的合法性和完整性。
1.3 风格与时长
时长确立：制作一个1分钟左右的AI生成画面，加上闭幕不超过2分钟。
风格确立：大致定义为中国风，当然即便风格定义成中国风也有不同的风格展示，我们采用同一提示词，进行了风格测试对比。
这里我们使用了Fanbook中的niji6模型以及 --sref 指令，最后加上每张图片的提示词，完成了整个视频风格保持一致性的确定。（当然 风格一致性......等等诸多详细教程，后续.....赶紧小关小注）尺寸选择16:9。
1.4 剧本分镜设定
根据丝绸之路的古风主题，风格和时长的确定。接下来就需要设定故事主线和镜头。
有了以上故事剧本及相关资料的基础，就可以进一步扩充每一个画面啦。我们可以参考分镜头的基本格式要求，按照场景、地点、镜号、画面描述、台词、音效等维度进行填充。这里提一个小建议，画面数量与台词长短密切相关，比如，主角一句话有6个字，按照3~4字/秒核算，需要有2秒的时长，而通常1个画面可以生成2~3秒的短视频，因此，6个字的台词长度，使用一个画面便可以满足。换句话说，当台词越长，所需的画面量越多，生图的工作量也越大。所以我们要尽可能精简人物的对话，提炼重点。
当然，当你对某一句台词，没有足够的画面灵感，你还可以借助语言大模型来帮助你。比如，在这次的分镜头创作过程中，我们便与Kimi进入了深入的交流。你可以要求Kimi帮你写好画面描述（如下左图）。你还可以直接将台词抛给Kimi，让他帮你写好画面描述，甚至加上对音效的需求（如下图）
大模型可以为你提供足够多的灵感，你可以多提问，多尝试。当然，最终选取哪个画面，如何平衡画面之间的联系，这都需要你进一步思考。就在以上的AI辅助下，我们的分镜头剧本就完成啦。（如下图）
二、AIGC视觉画面生成阶段
2.1主角人物生成
剧本中的两位主人公，共3个形象，分别是年轻船员：开朗积极、充满好奇；老船长：经验丰富、坚韧不拔，以及老船长年轻时候的形象。通过性格特征和时代背景，描绘人物的提示词、上传角色参考图--cref，最后将角色背景扣除以便于进行角色加背景的融合生成时进行垫图操作。以老船长年轻形象为例，生成了全身、半身、侧身多角度人物图。
2.2 场景画面生成
根据剧本创作，场景主要概括为三个场景部分，分别是海上、沙漠、市集。提示词从剧本中的画面描述进行提取。生成过程均采用文生图模式，画面风格选择前准备好的风格图进行垫图。
2.3 带主角人物的画面生成
上传角色图、场景背景进行参考生成，使得人物和场的融合度更高。
通过以上阶段，我们的台词、剧本、风格、人物形象、画面场景就都确立好啦。
小插曲：感谢团队小伙伴积极投入在本次创作中，分工明确，协同并进，最终产出一份较为满意的作品。当然最最最可爱且重要的是：留下关注、收藏、认知看完文章的你~
现在画面静态图片有了，那么接下来该让图片动起来了吧......
三、AIGC视觉动态生成阶段
使用即梦进行图生视频，只需上传图片至视频生成模块，提示词简单描绘画面中的动态内容即可。能生成时长为3秒钟的画面。
运镜类型可根剧本中的镜头描绘设置，主要设置以随机运镜为主。生成速度根据我们的视频节奏，选择了慢速。生成效果：下方这类由图片+简单提示词生成出的3秒时长的短视频。
四、AIGC音乐生成阶段
4.1音乐生成
AI生成音乐的工具使用的是Suno，它能够根据用户对音乐的具体描述，快速生成符合预期的音乐作品。这不仅能够为我们的视频增添独特的音乐元素，也能进一步提升视频作品的艺术性和观赏性。本次制作共生成了30首歌曲，从中挑选出符合视频节奏的背景音乐。
4.2人声配音生成
本次人物对白比较简单，经过对比我们选择了即开即用的ondoku进行配音，输入文字后就可以快速得到配音文件。
五、后期合成
后期合成主要使用了剪映，即梦AI生成的视频时长是3秒钟，并非整个3秒都能使用，根据剧本和画面内容，需要做部分截取。合成的过程中，会发现画面内容出现不协调情况，或者出现画面内容缺少的情况，需要重新生成画面视频进行补充。不过大多数情况下，画面原有的素材能够应对剪辑工作。视频音乐再合成时也可以进行画面匹配后再听听音乐是否协调。
视频轨道层分别是：台词层、效果层（关键帧、蒙版）、视频画面（AI生成的视频画面加闭幕）、人声台词、音效、背景音乐。
结语
随着AI技术飞跃，其在视频创作中的应用日益广泛。尽管《丝路追风》存在不足，但创作过程充满乐趣。此次分享旨在让大家了解AI生成视频的基本流程，从剧本到画面，再到音乐与配音，AI工具贯穿始终。期待技术革新，工具完善，推动我们创作更上一层楼。感谢支持与关注，共迎AI视频创作的璀璨未来！
作者：桂大阳
链接：https://www.zcool.com.cn/article/ZMTYyNjE1Ng==.html
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
