跳转到内容

AI动画生成:一个角色,从设定图到配音

阅读约 13 分钟

要点速览

AI动画生成一个晚上就能做完:故事自己来想,模型画角色和场景,再连声音和对白一起做成视频。我们在 AI2Face 做了三场小狐狸邮差短片:角色设定图和画面用 Nano Banana Pro,带声音的视频用 Veo 3.1。下面每一步都附有提示词。

目录
一只戴蓝色邮差帽的卡通小狐狸站在动画师的桌上,旁边是场记板和画着自己草图的速写本

AI动画生成是一条流水线:角色 → 场景 → 动画 → 声音 → 剪辑。每一步只要几分钟,主要的工作仍在你这边:想好故事,并盯住角色别一场换一个样子。我们用小狐狸邮差的短片走完了整条路。所有图片和视频都在 AI2Face 的生成器里完成,七次生成都是一次通过。

AI动画生成需要哪些模型

画面和视频用的不是同一个模型。

步骤 模型 原因
角色设定图、分镜画面 Nano Banana Pro 或 GPT Image 2.5 能按参考图稳住同一个角色,也能画任何风格
把场景做成有声视频 Veo 3.1 最长8秒、1080p,对白、音效和音乐跟视频一起出
长镜头、改已做好的视频 Gemini Omni 延长一场,以及用文字修改视频

其他视频模型见 AI视频生成 这篇汇总。

第1步. 剧本:每场8秒

Veo 3.1 生成的片子是4秒、6秒或8秒。所以一开始就把故事切成8秒一场:一场只做一个动作,对白不超过一句。

我们的剧本《狐狸邮差》,三场:

  1. 清晨,下雪的森林村子。小狐狸从信箱里抽出一封信,高兴地喊:«Ура, письмо!»
  2. 小狐狸拿着信,跑过结冰小溪上的绳索桥。
  3. 傍晚,老橡树的树洞。小狐狸把信交给猫头鹰,猫头鹰道谢:«Спасибо, малыш! Заходи на чай».

我们的测试里对白是俄语;提示词里可以把对白写成任何语言。

一分钟的动画片大约是8–10场。剧本也可以交给文本模型来写,但要检查一场里没有同时塞进三个动作:视频模型会把它们挤在一起,或者只做其中一个。

第2步. 角色设定图

角色设定图是一张图,角色从几个角度出现,还带不同表情,也就是转面图(turnaround sheet)。后面每一场都用它做参考。

Character turnaround sheet for an original animated short film: a small red fox
cub mail carrier with big amber eyes, a fluffy white-tipped tail, wearing a tiny
blue postman cap and a brown leather satchel across the body. Stylized 3D animated
feature film look, soft subsurface fur shading. Show the same character in four
views in a row: front, three-quarter, side profile and back, plus three small head
close-ups with happy, surprised and sad expressions. Plain light grey background,
even studio lighting, consistent proportions in every view. No text, no labels.
Nano Banana Pro:一张图上四个角度和三种表情,后面每场的参考

描述里留3–4个好认的细节(这里是蓝帽子、棕色邮包、尾巴白尖)。靠它们能看出是不是同一个角色,模型也更容易保住。怎样构思和描写角色,见 AI角色生成。

第3步. 同一个角色的分镜画面

每一场都附上角色设定图,生成起始画面。提示词开头用同一句角色说明,后面再写这场戏。

Use the fox cub character from the reference sheet exactly: same face, fur colors,
blue postman cap and brown satchel, same stylized 3D animated feature film look.
Scene: early winter morning in a tiny snowy forest village of round wooden houses
with smoking chimneys, the fox cub stands at a wooden mailbox and happily pulls out
a single envelope sealed with red wax, soft pink sunrise light, gentle falling snow.
Wide cinematic shot, the character in the left third. No text.
第1场:帽子、邮包和毛色与设定图一致
第2场:侧面的动态角度,还是同一个角色
第3场:新角色猫头鹰,直接用文字写在这场的提示词里

风格和光线在这里定,不在视频里定:视频模型延续你给它的那张画面。某一场不满意,只重做这一场,其他的别动。

第4步. 让画面动起来:提示词怎么写

把这场的画面交给视频模型,用图生视频。提示词里只写运动:角色做什么、镜头怎么动、背景发生什么。样子已经在画面上。

Animated feature film style: the fox cub pulls the envelope out of the mailbox,
looks at it with delight, hugs it to its chest and happily says in Russian in a
child's voice: Ура, письмо! Then it hides the letter in the satchel and hops off
to the right. Gentle snowfall, smoke from chimneys. Sound: crunchy snow under paws,
soft cheerful orchestral music, the fox's line. Keep the character design exactly
as in the image. No text, no subtitles.
Veo 3.1,8秒,有声:小狐狸的对白、踩雪声和音乐

桥上这场只要动作和声音,不用对白:

Animated feature film style: the fox cub runs across the swaying rope bridge from
left to right holding its cap against the wind, a plank creaks and bounces, snow
falls from the ropes, the camera tracks sideways following the fox, at the end the
fox jumps onto the snowy bank and keeps running. Sound: wind whistle, creaking wood,
fast playful pizzicato music. No dialogue, no subtitles.
Veo 3.1,8秒:风声、木板吱呀和快节奏音乐

这次管用的写法:

  • 一场一个动作,顺序用 “then”、“at the end” 写出来。
  • 镜头运动单独一句:“the camera tracks sideways”、“slowly pushes in”。
  • “Keep the character design exactly as in the image”:防止模型把角色重画一遍。
  • “No subtitles”:不然模型可能把对白做成字幕。

第5步. 声音和对白

Veo 3.1 的声音和视频一起生成:说话、音效和音乐。要让角色开口,就在提示词里写清谁说、什么嗓音、哪种语言,以及原句。

Animated feature film style: the old owl takes the envelope from the fox cub,
adjusts its round glasses, smiles warmly and says in Russian in an old kind voice:
Спасибо, малыш! Заходи на чай. The fox cub's ears perk up and it nods happily.
Sound: the owl's line, a crackling fireplace inside, soft warm music.
Veo 3.1,8秒:猫头鹰的对白、壁炉噼啪声和暖音乐
  • 一场一两句短对白。 长独白塞不进8秒。
  • 用词描写嗓音:“孩子的”、“年长而和气的”、“沙哑的”。
  • 长对话自己录音,剪辑时叠上去,视频里写 “no dialogue”。

第6步. 剪辑和成片

按剧本顺序在视频软件里把各场剪到一起。我们把三段硬切接上,一共24秒。

三段 Veo 3.1 硬切接在一起:24秒,有声

剪辑时可以补这些:

  • 一条铺全片的音乐。 每场自带音乐,切点上会断。把各场声音压低,整片铺一条,对白留下。
  • 转场。 场与场之间短淡出,换地点会顺一些。
  • 字幕条。 片名和“完”在剪辑软件里做,不要在生成里做。
  • 检查切点。 如果角色在一场结尾站在右边,下一场开头却在左边,就插一个全景,或者重做画面。

用照片和儿童画做动画片

  • 用照片。 上传孩子或宠物的照片,要求画成3D动画片风格,得到的就是角色设定图,后面按第3–6步做。照片换成不同风格的做法见 AI 照片风格转换。
  • 用儿童画。 给画拍张照,直接做成视频,角色会保住孩子的画风。例子见 照片变视频。
  • 给孩子看。 短场次、亮颜色、清楚的表情、一场一个意思,比复杂情节更合适。

局限

  • 一场8秒。 更长的片子靠剪辑,或者把一场延长。
  • 角色可能走样。 我们的测试里设定图稳住了每一场的角色,但系列一长,每场都要对照着设定图看。
  • 没有设定图的配角会变。 猫头鹰我们只写了文字,再见面就需要它自己的设定图。
  • 切点上声音对不上。 每场音乐不同,统一音轨在剪辑时再铺。
  • 废片免不了。 一场留出1–2次重做,角色一多更要留。

在哪里做AI动画生成

Nano Banana Pro、GPT Image 2.5、Veo 3.1 和 Gemini Omni 都在 AI2Face 的同一个生成器里:角色设定图、分镜和视频在同一条信息流,任意一张画面都可以一键送进下一次生成。每次生成的费用在开始前显示,可以用银行卡或加密货币支付,套餐积分不会过期。服务里的视频生成怎么运作,见 AI2Face 视频生成。

总结

AI动画生成走的是工作室的同一套步骤,只是每一步只要几分钟:我们的24秒是一张角色设定图、三张画面和三段视频,七次生成都是一次通过。片子能接上,靠的是每场都附上角色设定图,以及一场8秒、只做一个动作。角色和场景用 Nano Banana Pro 来画,带声音的动画用 Veo 3.1,统一的音乐和字幕条留到剪辑。第一部片子做三到四场就够,先从这里开始,再写系列。

常见问题

怎样用AI做动画片?

把故事拆成8秒一场,先做角色设定图,再按设定图画出每场的起始画面,然后用带声音的视频模型把画面动起来。做好的场次在任意视频软件里剪到一起。

怎样让同一个角色出现在所有场次?

每次生成画面都把角色设定图作为参考,并写上“use the character from the sheet exactly”。在我们的测试里,小狐狸的毛色、帽子和邮包在三场画面和三段视频里都保住了。

可以免费用AI做动画片吗?

短片可以。AI2Face 注册后赠送欢迎积分:够做角色设定图和各场画面,视频先用一场试。每次生成的价格在开始前显示。

AI能为角色配音吗?

能。Veo 3.1 会把对白、音效和音乐跟视频一起生成,在提示词里写清谁说什么即可。我们的测试里对白是俄语。长对话最好自己录音,剪辑时再叠上去。

AI做的动画片有多长?

看你剪多少场。Veo 3.1 一场最长8秒,我们的三场短片是24秒。一分钟大约是8–10场。

资料来源

4
  1. https://ai.google.dev/gemini-api/docs/veo
  2. https://developers.googleblog.com/introducing-veo-3-1-and-new-creative-capabilities-in-the-gemini-api/
  3. https://blog.google/innovation-and-ai/products/nano-banana-pro/
  4. https://blog.google/innovation-and-ai/technology/developers-tools/build-with-gemini-omni-1-1-flash/

延伸阅读

AI2Face 四块界面拼图:图片查看窗口、商品面板、带角色的构建器,以及视频标签

AI2Face 功能

AI2Face 使用教程:写给新手的入门指南

AI2Face 使用教程带您认识顶栏里的各个板块、验证邮箱后的初始积分,以及照片、视频、商品和角色共八篇详细指南,方便接着读。