星空体育·(中国)官方网站XK SPORT

机械阀门隔膜阀Sora到底有多炸裂 四款视频大模型5大场景测评！

发布时间：2024-02-24 丨 浏览次数：

　　ChatGPT，开启了大模型领域的“竞速跑”模式。2024年2月15日，随着视频生成模型Sora的横空出世，OpenAI再度掀起热潮。

　　Sora将视频生成内容拉到了一个全新的高度，逼真的视频效果刷新了社会对AI能力边界的认知。它的问世，就如同一枚深水炸弹，瞬间引爆全球科技圈。

　　不少业内人士直言，Sora的到来标志着一次质的飞跃。英国皇家工程院国际院士、欧洲科学院院士许彬（Pan Hui）在接受《每日经济新闻》记者采访时表示，“目前Sora在视频生成品质上面绝对是无可匹敌的。Sora生成的视频可以从小特写切大全景，变换不同的机位。”

　　值得注意的是，文生视频大模型并不是一条全新的赛道。为了更直观地呈现Sora的文生视频能力，《每日经济新闻》记者采用OpenAI官方公布的5条Sora视频提示词，对Pika、Runway和PixVerse的文生视频能力进行了测试，并将生成结果与Sora视频进行了对比，测试场景涉及人物特写、电影预告片等5类。

　　对比结果显示，Sora在生成长度、连贯性和视觉细节方面表现出明显的优势，几乎实现了“降维打击”。

　　从ChatGPT到Sora，为何OpenAI能连续打造出“王炸级神器”？

　　加州大学伯克利分校计算机科学 PHD、知乎作者SIY.Z分析称，“如果必须用一个词来展现OpenAI最核心的技术，我觉得是scaling law——即怎么样保证模型越大，数据越多，效果就越好。”从文本生成模型 GPT、文生图模型 DALL·E，到文生视频模型 Sora，OpenAI或许已经打造出了一条自己的AGI通用技术路线大场景实测：

　　2月15日，OpenAI正式发布了首款文生视频大模型Sora。演示视频一经发布迅速引发业内热议，部分网友更是哀嚎，“要失业了”。

　　世界走进了人类社会。我愿意将其类比为，开启了AI发展的牛顿时代。”Sora的文生视频能力到底有何突出之处？

　　由于Sora并未开放测试账号，因此《每日经济新闻》记者采用OpenAI官方公布的5条Sora视频提示词，在街头、卡通动画、人物特写、动物特写以及电影预告片这5大场景下对同类模型Runway、Pika和Pixverse进行了效果测试。同时，将OpenAI官方公布的Sora视频与前述3个文生视频大模型进行了对比。

　　英国皇家工程院国际院士、欧洲科学院院士许彬（Pan Hui）在接受《每日经济新闻》记者采访时也表示，“Sora的核心优势可以总结为，生成高清晰度的长视频机械阀门隔膜阀。不论是清晰度，还是时长，目前都是第一。

　　不过，需要说明的是，本次效果对比仅基于5个场景下的提示词，场景和提示词的数量均较为有限，并且不同模型生成的结果可能存在随机性。

　　在与Runway、Pika和PixVerse的对比中，Sora生成的视频平均长度将近16秒机械阀门隔膜阀，最长达到20秒，而相比之下，其他三个模型生成的视频长度均在3~4秒左右

　　许彬表示，“Sora可以改变视频的视角。Sora生成的视频，可以像一镜到底一样，从小特写切大全景，变换不同的机位，但是保证画面中的人物/物品。同时，（Sora生成的视频中）物体的一致性很强。

　　此外，每经记者发现，Sora生成的视频视觉细节丰富，物体纹理清晰，色彩逼真，整体视频质量更高。相比之下，其他模型生成的视频通常显得模糊、细节不足、色彩不那么鲜艳。

　　例如，在生成的“女人眨眼睛”的视频中，Sora对女性眼部的特写十分到位，从眉毛、睫毛、眼皮褶皱、眼袋、卧蚕和细纹的细节来看，已经达到以假乱线）更能满足不同的场景

　　，与Runway、Pika等相比，Sora在视频生成的真实感、细节表现上均具标志性价值。AI视频生成虽不是新事，但Sora的推出有望推高AI多模态的热度，可关注AI多模态应用塑造数字内容生产与交互新范式，赋能视觉行业，从文字、3D生成、动画、电影、图片、视频、剧集等方面，有望带来内容消费市场的繁荣发展。从GPT到Sora，OpenAI打通AGI技术栈从Sora身上，可以看到OpenAI沿袭了过往大语言模型训练的许多成功经验。Sora视频的逼真和连贯程度着实令人惊叹，而帮助Sora实现能力飞跃的是该模型的两项核心突破。

　　OpenAI的文本模型，例如GPT-4，就是采用的Transformer模型，传统的文本到视频模型通常是扩散模型（Diffusion Model），Sora采用的DiT架构则融合了GPT和传统的扩散模型架构。

　　在Sora发布后，谢赛宁在X平台上写道，“当Bill和我参与DiT项目时，我们并未专注于创新，而是将重点放在了两个方面：简洁性（Simplicity）和可扩展性（Scalability）”。他表示，“可扩展性是论文的核心主题，优化的DiT架构的运行速度比UNet（传统文本到视频模型的技术路线）快得多。更重要的是，Sora证明了DiT缩放定律不仅适用于图像，现在也适用于视频——Sora复制了DiT中观察到的视觉缩放行为。”

　　其次，Spacetime Patch也是Sora创新的核心之一。在这一点上，Sora的设计思路和GPT-4也是一致的。

　　Patch可以理解为Sora的基本单元，Patch是视频的片段，一个视频可以理解不同Patch按照一定序列组织起来的。就像GPT-4 的基本单元是Token，而Token是文字的片段。GPT-4被训练以处理一串Token，并预测出下一个Token。Sora遵循相同的逻辑，可以处理一系列的Patch，并预测出序列中的下一个Patch。

　　许彬向记者解释，“把视频数据变成一个个小块（patches），让模型对图像的理解能够像文字一样。参考过往GPT的表现，GPT对文本的语义理解水平非常细腻，将同样的原理应用在视频上，可以增加数据的灵活性以及模型最后的表达能力。”

　　正如谢赛宁所谈到的“Scalability”一样，加州大学伯克利分校计算机科学 PHD、

　　“如果必须用一个词来展现OpenAI最核心的技术，我觉得是scaling law——即怎么样保证模型越大，数据越多，效果就越好。一句话概括 Sora 的贡献，便是在足量的数据，优质的标注，灵活的编码下，scaling law在transformer + diffusion model的架构上继续成立。”

　　在他看来，数据、标注、编码、底层架构都是来自于此前大模型的成功经验。谢赛宁在X平台也曾提到， Sora有两个关键点尚未被提及，一是关于训练数据的来源和构建，二是关于（自回归的）长视频生成相关的技术细节。值得注意的是，建立在此前成功经验之上的Sora路线，可能会成为接下来的文生视频模型新范式。早在1月，一位前阿里的AI专家在X平台上表示，“我认为，Transformer框架和LLM路线，将是AI视频的一个突破口和新范式，它将使AI视频更加连贯、一致，并且时长更长。目前的Diffusion+Unet路线（如Runway、Pika等），只是暂时的解决方案。”

　　ChatGPT，到文本转图像模型DALL·E，再到近期的文本转视频模型Sora，风口上的OpenAI成为资本市场不变的关注焦点。

　　实际上，文生视频大模型并不是一条全新的赛道。很多文生视频大模型早已走入大众的视野，例如Stability AI的Stable Video Diffusion、Runway的Gen-2 Video、谷歌的Lumiere、Meta的Make-A-Video、Pika以及PixVerse等等。其中，Pika在去年11月正式发布Pika 1.0后更是掀起全球热潮，其创始人郭文景也名声大噪，Pika 1.0也被称作是Runway Gen-2的最强竞品。不过，在Sora火爆出圈后，随着其所代表的新技术路线的出现，文生视频领域的版图恐怕要重新改写了。

　　一方面，核心技术是一道鸿沟——Diffusion Transformer和Spacetime Patch并非新鲜事物，但却只有OpenAI成功推出了Sora。并且，从文生视频的实测对比来看，Sora的确实现了降维打击。另一方面，从估值和融资规模来看，背靠

　　的OpenAI在AI初创公司中可以说是断层领先。之所以其产品一经发布，就能让行业震惊于其超强的迭代能力，恐怕也离不开背后的烧钱。

　　图片来源：每经制图Sora火爆出圈后，资本圈的最新消息是， OpenAI的估值已飙升至800亿美元以上，值得一提的是，该公司的估值在9个月的时间里增长了两倍。除了各种AI大模型产品之外，OpenAI CEO山姆·

　　领域。据报道，阿尔特曼正与潜在投资者、半导体制造商和能源供应商等各种利益相关者接触，预计将融资7万亿美元打造芯片帝国。在技术和资金的加持下，OpenAI在接下来的时间里，可能还将继续遥遥领先。与之相比，Runway截至目前累计融资超2.5亿美元。TechCrunch报道称，Runway的估值在去年6月底达到15亿美元，其投资者包括谷歌、、Salesforce等。

　　Coatue Management还在去年10月致信管理层，要求CEO埃马德·莫斯塔克辞职。内容创作领域将被颠覆

　　许多人认为，Sora的出现可以改变一系列创意产业，从电影制作、广告到图形设计，从游戏

　　科技等领域都将受到影响。“最直接的是视频制作领域。不管是电影，还是人人都能参与的短视频，很多危险的，不容易拍摄的场景，都可以让AI帮我们完成。这样大大改变了视频创作的逻辑，也降低了视频创作的门槛。不具备视频拍摄能力的人，通过自己的想象力，也可以变成优秀的视频创作者。”许彬说道。他同时告诉记者，Sora和其他类似的AI视频模型在多个行业都显示出巨大的商业潜力和市场需求。“包括媒体和娱乐、银行

　　、零售以及医疗保健等行业将极大受益于生成式AI的进步。这些技术的应用不仅可以优化营销和销售活动，改善客户服务，还能加强产品开发和风险管理。”许彬同时表示，“生成式AI在这些领域的变革潜力已表明了广泛的市场需求和跨行业的巨大经济价值，可能为各个行业创造2.6万亿至4.4万亿美元的价值。”此外，据外媒报道，光速印度合伙人Hemant Mohapatra将Sora的出现比作为潘多拉的魔盒已经打开，将会让一切都发生改变。“它生成的视频质量之高，会让库存视频生成公司立即感受到威胁。”二级市场的腥风血雨已经可以印证这一说法。Sora发布的次日，美国电脑软件公司Adobe股价暴跌超7%；美国图片库、图片素材、图片音乐和编辑工具供应商Shutterstock跌超5%；几周前发布了“文生视频”工具Lumiere的谷歌母公司股价下挫1.58%。三家公司一天内就合计蒸发近480亿美元的市值。另一方面，随着AI的快速发展，有关其风险的讨论也一直未曾停歇，如何防止其被滥用或误用以及如何避免其对人们的认知产生负面影响是业内许多专家探讨的重点之一。

　　“视频生成很容易应用在诈骗领域。很多地方都有人脸识别，视频生成也让过往的技术变得不再安全。

　　随着AI的发展，各国也在致力于加强对AI的监管。早在去年10月，美国白宫首次发布针对AI的行政令，将对AI研发和应用制定全面的监管标准。去年11月，中国、美国、英国、欧盟等多方代表在首届全球

　　许彬认为，未来，重点可能会转向增强（AI）能力，同时确保以合乎道德和负责任的方式开发和使用它们，以最大限度地发挥其对各个行业的积极影响。“AI视频模型正在朝着更负责任的AI实践方向发展，（需要）通过投资研发来增强AI应用的安全性和保障。采取积极主动的方法来解决这些社会和伦理问题是可能的。”

　　OpenAI的每一次动作几乎都会给科技圈带来一次巨震。尽管文生视频模型已非首次发表，但毫无疑问，Sora带来了一次质的飞跃，在时长、连贯性和视觉细节等方面的突破都是前所未有的。

　　而令记者感到惊讶的是，在查阅相关的技术解读时发现，Sora从底层架构上来说并非是全新的技术，例如，DiT架构和Patch的论文都是去年就发表的。从Sora身上，也可以看到OpenAI过往大语言模型训练的成功经验。然而，只有OpenAI从旧架构中实现了新的突破，这或许意味着，无论是OpenAI这家公司，还是AI算法本身，它们的边界还远不止于此。

　　Sora再次展示了AI的无限可能，行业的颠覆也可能再次到来。不过，有技术从业者也告诉记者，在观察Sora的提示词发现，文生视频模型的使用门槛比较高，用户要有比较强的描述能力。若要完成一个品质较高的作品，也很考验用户的审美能力。与此同时，也不得不提到AI风险的老生常谈。更上一层楼的技术可能将为AI诈骗等犯罪行为提供温床，因此，建立健全监管措施，确保AI不被误用和滥用是一项重要的议题。机械阀门隔膜阀机械阀门隔膜阀机械阀门隔膜阀