用Runway Gen-2做AI视频有一个多月了,踩了无数的坑。有时候为了生成一段满意的视频,能熬到凌晨三四点。
这篇文章记录一下使用过程中遇到的各种问题和解决方案,如果你也在用Runway Gen-2,希望能帮你少走点弯路。
账号和付费的坑
第一个坑是账号注册。
Runway Gen-2在国内访问需要科学上网,而且对IP地区有限制。最开始我用的免费节点,注册的时候一直报错,后来换了美国的住宅IP才注册成功。免费节点经常被封,建议用稳定的付费节点。
第二个坑是付费。Runway的订阅是按美元计费的,需要支持外币的信用卡。我最开始用国内的双币信用卡,一直支付失败,后来换了虚拟卡才成功。而且Runway的订阅是自动续费的,如果不想用了一定要记得取消,不然会一直扣费。
第三个坑是额度。免费账号每个月只有125个积分,生成一段4秒的视频要5个积分,免费额度根本不够用。我最开始用免费账号,生成几段就没额度了,只能等下个月。后来买了标准版,每个月625个积分,勉强够用。
第四个坑是积分计算。不同的功能消耗的积分不一样,文本生成视频5积分,图生视频5积分,视频扩展10积分。而且生成失败也会扣积分,这个最坑。有时候生成了一段不满意的视频,积分已经扣了,只能重新生成。
提示词的坑
提示词是AI视频生成的核心,但写好提示词真的不容易。
第一个坑是提示词太长。Runway Gen-2对提示词的长度有限制,太长的提示词会被截断,后面的内容不生效。我最开始写了一大段描述,结果生成的视频只体现了前面几句。后来发现提示词控制在300个字符以内效果最好,重点描述主体和动作,环境和氛围用简短的词概括。
第二个坑是提示词太复杂。很多人写提示词喜欢堆砌各种风格词、镜头词、光线词,以为描述越详细效果越好。实际上Runway Gen-2的理解能力有限,太复杂的提示词会让模型困惑,生成的视频反而四不像。建议提示词简洁明了,一个主体加一个动作加一个场景就够了。
第三个坑是动作描述不准确。AI视频生成最难的是控制动作,你写"一个人在跑步",生成的可能是一个人在走路。你写"猫在跳跃",生成的可能是猫在伸懒腰。动作描述要具体,比如"一个人沿着海滩慢跑,手臂自然摆动",比"一个人在跑步"效果好很多。
第四个坑是负面提示词。Runway Gen-2支持负面提示词,可以指定不想要的内容。但负面提示词不是越多越好,太多的负面提示词会限制模型的创造力,生成的视频很呆板。我一般只写几个关键的负面词,比如"模糊、变形、低质量"。
图生视频的坑
图生视频是我用得最多的功能,但坑也最多。
第一个坑是图片质量。输入图片的质量直接决定输出视频的质量。模糊的、低分辨率的图片生成的视频也会模糊。建议用高清图片,至少1024x1024分辨率,主体清晰,背景干净。
第二个坑是图片比例。Runway Gen-2支持16:9、9:16、1:1三种比例,但图生视频的时候会根据输入图片的比例自动调整。如果你的图片是4:3的,生成的视频会有黑边。建议先把图片裁剪成目标比例再上传。
第三个坑是运动幅度。图生视频有个运动幅度的参数,从0到10。数值越大运动越剧烈,但也越容易出现变形和闪烁。我一般用3到5之间的数值,既有动态感又不会太夸张。如果想要镜头运动的效果,可以单独设置相机运动参数。
第四个坑是首尾帧。Runway Gen-2支持指定首帧和尾帧,生成从首帧到尾帧的过渡视频。这个功能看起来很美好,但实际用起来坑很多。如果首尾帧差异太大,生成的过渡会很奇怪,中间会出现变形。建议首尾帧的主体和构图保持一致,只改变动作或镜头。
视频质量的坑
生成的视频质量经常不稳定,有时候很好有时候很差。
第一个坑是闪烁。AI视频最常见的问题就是闪烁,画面一帧一帧地跳,看起来很不自然。闪烁的原因是模型每一帧都是独立生成的,帧与帧之间的一致性不够。减少闪烁的方法是用图生视频而不是文生视频,输入图片质量要高,运动幅度不要太大。
第二个坑是变形。人物和物体经常会变形,比如脸歪了、手多了、身体比例不对。这个问题目前没有特别好的解决方法,只能多生成几次选最好的。人物特写特别容易变形,建议生成中景或远景,人物不要占画面太大比例。
第三个坑是分辨率。Runway Gen-2生成的视频分辨率是768x1280(9:16)或者1280x768(16:9),不算高清。如果需要更高分辨率,可以用AI放大工具后期处理,但放大之后细节会模糊。
第四个坑是时长。每段视频最长4秒,想做长视频就要多段拼接。但拼接的时候两段视频的风格和色调可能不一致,需要后期调色和转场。我一般用剪映来拼接,加个淡入淡出的转场效果会自然很多。
后期处理的坑
生成的视频一般都需要后期处理,但后期也有不少坑。
第一个坑是帧率。Runway Gen-2生成的视频是24fps,但很多后期软件默认是30fps或60fps,导入的时候会出现帧率不匹配的问题。建议在后期软件里设置成24fps,或者用补帧工具把视频补到30fps。
第二个坑是调色。不同段落生成的视频色调可能不一样,拼接在一起会很突兀。需要统一调色,我一般用剪映的滤镜功能,给所有段落加同一个滤镜,色调就统一了。
第三个坑是音频。Runway Gen-2生成的视频没有声音,需要后期配音和加背景音乐。配音可以用AI语音合成工具,背景音乐要选和视频风格匹配的。音频和画面的同步也很重要,动作和音效要对应上。
第四个坑是导出。导出的时候要注意码率和格式,码率太低会损失画质,太高文件太大。我一般导出H.264编码的MP4,码率8Mbps左右,画质和文件大小比较平衡。
一些实用技巧
踩了这么多坑,也总结了一些实用技巧。
第一个技巧是多生成几次。AI视频生成有随机性,同样的提示词每次生成的结果都不一样。不要生成一次不满意就放弃,多生成几次,总能挑出一段好的。我一般一个提示词生成5到10次,选最好的那段。
第二个技巧是用参考图。文生视频的效果不稳定,图生视频的效果会好很多。可以先用AI画图工具生成一张满意的图片,再用这张图片做图生视频,效果会比直接文生视频好。
第三个技巧是分段生成。不要指望一次生成完整的视频,把视频分成几个镜头,每个镜头单独生成,然后后期拼接。这样每个镜头都能精雕细琢,整体质量会高很多。
第四个技巧是控制运动。AI视频对运动的控制很差,尽量生成静态或慢动作的画面。快速运动、复杂动作很容易变形。如果需要动态效果,可以用相机运动来模拟,比如推镜、拉镜、摇镜,比主体运动效果好。
第五个技巧是后期补帧。生成的视频是24fps,看起来有点卡。可以用RIFE或DAIN这类补帧工具补到60fps,画面会流畅很多。补帧之后运动也会更自然,闪烁也会减少。
写在最后
Runway Gen-2是目前最好用的AI视频生成工具之一,但它还远不够完美。闪烁、变形、分辨率低、时长短,这些问题都还需要时间来解决。
但即使有这么多坑,AI视频的潜力还是巨大的。以前做一段视频需要专业的团队和设备,现在一个人用AI就能做出不错的效果。随着技术的进步,这些问题都会慢慢解决。
如果你也在尝试AI视频,不要被这些坑吓到。每踩一个坑,你就对这个工具有更深的理解。多试多练,慢慢就能掌握它的脾气,生成出满意的作品。
希望这篇文章能帮到你。AI视频的路还很长,我们一起探索。
评论(0)
暂无评论,快来抢沙发~
评论功能仅对会员开放,请先登录
登录