我测了12个小时的RunwayGen3，发现这就是AI视频的No.1
昨天，众多AI视频创作者翘首以盼的Runway的Gen3，终于面向部分超级合作者开放了。
我的好基友@闲人一坤也是第一时间拿到了内测资格，我就直接把号要来了。
我从中午到凌晨，跑了12个小时，几百个Case。
发现我之前开的香槟，没开早。
先放几个我觉得还不错的case。
Runway Gen3，在模型质量上，还是能把Luma和可灵拉开一些差距，特别是审美上。虽然也就是70分跟60分的区别，但至少，在模型质量上，确实是我认为的当今No.1。
不过，现在只上了文生视频，图生和那些可控工具还没上。
给我急急急急急急急急急急急急急急急急死了。
在我跟坤哥瞎吉尔一顿跑了快100个case之后，我决定还是偏系统性的测一下，这个系统只是比瞎跑系统一点，肯定比不过南洋理工或者上海人工智能实验室那种专业级别的测试，所以别杠我，杠就是你对= =
测试的构筑方法上，其实我之前想了蛮久的，去年我其实规划过一版测试维度，大类上有语义理解、画面细节质量、运动质量、镜头移动质量、一致性、衰减性等等。
然后比如在运动幅度上，又可以拆为:人脸五官运动质量、人物肢体运动质量、动物运动质量、刚体运动质量、流体运动质量等等。。。
写完以后我就觉得太特么扯淡了，不是这个划分扯淡，是我的人力有点扯淡。真要这么跑一遍，那我就好几天啥事都不用干了。。。
所以现在，为了达到成本与效率最优解，我就非常简单粗浅的，按风格去划分，分为:
写实风格、动画风格、科幻风格、玄幻风格、抽象风格。
每个风格里面跑10~15个prompt，每个prompt roll三遍，虽然只有文生视频，但其实也基本能看出来模型整体质量和特征了。
而写prompt这活，当然是交给AI去干了。
毕竟有公式可以套:
Prompt = 镜头语言+光影+主体描述+主体运动+场景+氛围。
然后我就让GPT根据公式和规则，给我哐哐哐的写了几吨的prompt。
再把这些prompt，扔到gen3里面跑case。
目前只能用文生视频，其他的功能都还没上。在最下面可以切换生成视频的片段长度，可选5s和10s两种。
生成速度非常的快，亲测10s的基本也就1分半就能跑出来，这个可比Luma好多了，那玩意动不动十几分钟。。。
所有的case，我也都放到飞书文档里，有兴趣想全看一遍的，对着我公众号关注后在后台私信gen3就能拿到链接了。
而文章碍于篇幅，我就每个风格，展示5个有代表性的case，让大家一睹为快。
（注:在gen3中生成视频我使用的都是英文，下面的是为了方便大家看所以所有prompt才都翻译成了中文）
一.写实风格
写实风格测试的东西很简单，主要就是看现实城市街景、自然风光、室内场景等，也看看人物的面部表情、光影效果、细节纹理等。
核心还是现实世界的写实。
1.特写镜头，温暖的晚霞，一位长发飘逸、面带温柔微笑的年轻女子，坐在咖啡馆的露台上，轻啜咖啡，背景中是模糊的城市景观和人群交通，氛围放松而舒适。
这个可以看到杯子是变形的，手的位置也很奇怪。除了这两问题之外，其他都还挺稳。
2.中景镜头，刺眼的正午阳光，施工现场的工人们穿着安全装备操作起重机，背景中耸立着摩天大楼，氛围动态而繁忙。
这个问题就非常多了，肢体变形，人物消失，穿过了明明在远方的杆子，摩天大楼的细节也有问题。
3.低角度镜头，戏剧性的侧面光，一位专业厨师在繁忙的厨房里切菜，周围蒸汽弥漫，锅碗瓢盆悬挂，氛围紧张而专注。
地狱难度，涉及到切菜也就是人、刀、菜的三者交互，所以基本都跟魔法一样，不能看。
4.倾斜镜头，傍晚的街灯，一位音乐家在繁华的街角弹吉他，行人匆匆而过，商店门面上明亮的霓虹灯，氛围热闹而充满活力。
算是很能夸的一个镜头了，人物主体是非常稳定的。但是背景过于复杂，很明显的BUG就是刚开始的车开过去的时候，有个粉衣服的人是跟车合为一体的。。。
5.极限特写镜头，自然光线，一位画家的手在调色板上混合颜色，背景是画布和画架，手指上沾有颜料，氛围专注而富有创造力。
很棒的一个镜头。是能明显的感受到有因果关系的，手和笔会影响颜料，还有粘连的效果。虽然肯定没法跟现实世界比，但是已经很不错了。
总结:写实风格整体看，还是人物特写和风景最稳，一旦涉及到全景或者中景，当人物没有足够的面积空间时，肢体变形就极为严重，但是如果不涉及到人物与物体的交互，那稳定性还是非常强的。
而Runway有一说一，在光影的审美上，是真的强。毕竟电影出身，审美是真舒服。
二.动画风格
主要就是看对各种风格的包容度以及审美，比如2D、3D、皮克斯、吉卜力等等。
1.特写镜头，柔和的晨光，一位粉色头发、大眼睛的年轻女孩，日式动漫风格，望着窗外，樱花在空中飘落，背景是传统的日本房屋，氛围宁静且怀旧。
风格倒是正常，樱花飘的也很好看，就是人物动态太少，跟写实比差太多了，基本没有任何表演可言。
2.中景镜头，夕阳余晖，一位未来派机器人和一个人类女孩，3D动画风格，走在霓虹灯闪烁的街道上，周围是全息标志和飞行汽车，城市景观中高耸的建筑，氛围鲜活且高科技。
我真不是故意吓大家才把这个传上来的，是他真的BUG的有特点，因为我跑出来好多前后不分的视频，这个就是典型代表。。。
3.高角度镜头，明亮的正午阳光，一群充满活力的玩具复活，皮克斯风格，在一个孩子色彩缤纷的卧室里，玩具车和动作人物四处移动，氛围愉快且充满活力。
奇奇怪怪的镜头，风格也不是皮克斯的典型风格，物体也都是莫名其妙的出来，最后小熊突然变成积木飞了那一瞬间我是真没绷住。
4.跟踪镜头，柔和的黄昏光，一位勇敢的少女战士，手持发光的剑，幻想动漫风格，跑过一片迷人的森林，周围是神话生物和古老遗迹，氛围史诗且冒险。
除了手上那把剑不知道是个什么玩意，也没有神话生物和古老遗迹啥的，都挺好。
5.越肩镜头，昏暗的室内灯光，一位年轻的巫师手持魔法书，中世纪动漫风格，在宏伟的图书馆中施法，书架上摆满了古老的书籍和魔法神器，氛围神秘且魔幻。
最后的那一下特效帅炸了，就是人物的脸变形了，从一个异瞳萌妹不知道是个什么玩意，而且也不是越肩视角，不过越肩视角这个就不强求了，没几个能画出来的。
总结:动画风格整体化上，其实都挺差劲的，吉卜力、3D、美漫啥的效果表现都极差，整体审美、物理动态也比写实差很多，明显感受到了数据集的不足，runway整体还是非常的偏写实和电影的。
三.科幻风格
我自己最喜欢的风格，主要看模型的数据集和泛化能力，能不能把一些很科幻的场景表现出来。应该也是我跑得最多的case，好像文档里放了将近20个。
1.广角镜头，霓虹城市灯光反射在金属表面，一个巨型机甲从一个流线型车辆变形为高耸的机器人，齿轮和面板无缝转换，背景中有未来感的摩天大楼和飞行汽车，氛围紧张且高科技。
我是有多想不开才会让AI给我跑变形金刚。但是他居然变了出来，虽然整体都很奇怪，但是至少是变了，这个prompt理解是猛的。。。
2.中景镜头，鲜艳的蓝色和银色调，两台机甲陷入史诗般的战斗，迅速交换打击并发射能量武器，四周是烟雾和爆炸的破坏性城市战场，氛围充满动感和动作感。
真的，帅炸了，我爱惨了，这打架是正儿八经会打起来的啊，真的会爆炸啊!科幻还是得runway啊!
3.跟踪镜头，昏暗的走廊，一群太空海军陆战队小心翼翼地穿过废弃的飞船，灯光闪烁和诡异的声音，氛围紧张且悬疑。
整体都很稳，氛围和质感也无敌，就是有个人出BUG卡门里了。。。
4.广角镜头，旋转的五彩斑斓的漩涡，一个流线型的时间旅行飞船快速穿过隧道，周围是光线和能量轨迹，氛围令人兴奋且超凡脱俗。
这光影，这质感，想哭，我的新片子，想马上就要开始做了卧槽!!!
5.特写镜头，强烈对比的照明，一个宇航员在空间站外漂浮，背景中可见地球和月亮，星星在头盔面罩上反射，氛围寂静且孤立。
这种大特写，必然稳定的一笔，人物还有眼球表演，只能说，牛逼。
总结:没啥可说的，在科幻领域上，runway就是No.1，其他都得靠边站。我的新片子，已经开始准备了，有点兴奋的睡不着觉了。
四.玄幻风格
跟科幻一样，也偏想象，很吃数据集和泛化。主要就是看魔法、神话世界啥的。
1.特写镜头，柔和温暖的灯光，一位年轻的女巫师，眼睛发光，手持顶端有水晶的法杖，长袍上有复杂的符文，背景是迷人的森林，氛围魔法且宁静。
所有的一切都很稳，除了只有三根手指，否则就是完美的。
2.越肩镜头，昏暗的火炬光，一个盗贼在黑暗地牢里撬开一扇巨大的华丽门锁，周围是古老的符号和蜘蛛网，氛围紧张且秘密。
很有趣的一个是人走过火的时候，手上真的有东西被点着了。当然BUG问题很大，门最后变成了现代门。而且顶上出来了游戏的方位条，感觉是扒了刺客信条的数据集。
3.广角镜头，月光之夜，一个覆盖着发光符文的巨型石像从密林中出现，树木摇晃，脚下的地面开裂，背景是古老的遗迹，氛围神秘且不祥。
有一种憨批巨像的即视感，除了人物丑，没啥其他的问题。
4.倾斜镜头，月光之夜，一群精灵在神圣的树林中进行仪式，发光的符文和魔法能量在他们周围旋转，古老的树木和星空，氛围神秘且敬畏。
雕像造型上非常克苏鲁魔幻的一段，最后的光效非常华丽，runway不愧是电影出身，这小特效做得一个比一个顶。
5.广角镜头，梦幻般的灯光，一座古老的城堡坐落在悬崖上，周围环绕着旋转的雾气，天空中一条龙翱翔，中世纪幻想风格，氛围壮丽且神秘。
龙的画面面积太小了，所以还是那个问题，风控变形，其他都很准，也很理解语义。
总结:玄幻相比之下，没有runway的科幻那么长板，还是会弱一些，适合做西方玄幻，中国玄幻不好测，等出图生视频了再测，效果不一定有可灵强。
五.抽象风格
抽象风格其实就是测试抽象的几何图形、色彩斑斓的空间、不规则形状等等，主要关注形状、颜色、运动和情感，而不是具体的物体或场景。
1.特写镜头，明亮霓虹色与暗背景形成鲜明对比，分形图案有节奏地扩展和收缩，氛围强烈且令人着迷。
我是没想到gen3的分形艺术能做的这么稳这么好。。
2.低角度镜头，鲜明的黑白色调，锐利的角形图案不规则地移动，创造出混乱和迷失方向的感觉。
这就是艺术，没啥可说的，最后有点不稳了。
3.摇摄镜头，明亮的彩色粒子旋转并汇聚成抽象的形态，营造出一种生动的运动和兴奋感。
想起了我以前用C4D做的粒子效果，妈的辛辛苦苦渲半天，还真不如这个。。。
4.跟踪镜头，流动的金属表面反射环境光，形状在移动中拉伸和弯曲，营造出一种未来主义的超现实感。
液体金属质感无敌，这以后谁尼玛还做特效啊= =
5.广角镜头，鲜艳颜色的渐变平滑融合，重叠的半透明几何图形缓慢旋转，营造出一种平静和流动的感觉。
无敌，这颜色渐变，再调调能追上苹果了。。。
总结:gen3的抽象艺术，是我完全没想到能做到这么好的程度，对AE包装这块的冲击可能会有点大，这种特效以后都不用做了，AI直出。。。
写在最后
上面的case，只是部分。
所有的其他case，我都放在了飞书文档里，想要看全部的，关注我公众号后，后台私信gen3就有了。
Runway这一波，还是展现了自己作为老牌公司的实力，整整六年时间的沉淀。
就像他们老板自己说的那样。
一夜成名，从不存在。
这背后是时间、精力、金钱的积累，是在低谷期在睡不着觉的时候的疯狂的煎熬。
所以，才有了今天的Runway。
谁没有过低谷，谁没有过煎熬呢，但是他们撑了过来，用这六年在电影工业和AI技术上的积累，做出了比同行高一等审美和技术力的大模型。
前方的路，还很漫长。
他们当然也有可能有无数的挑战。
但是，至少在今天。
他们就是我心中那实至名归的。
No.1。
更新于：5个月前