星空体育·(中国)官方网站XK SPORT

机械阀门隔膜阀Sora到底有多炸裂四款视频大模型5大场景测评！从ChatGPT到SoraOpenAI为何能连续打造出“王炸级神器”

发布时间：2024-02-24 丨 浏览次数：

　　2022年底，OpenAI推出人工智能聊天机器人ChatGPT，开启了大模型领域的“竞速跑”模式。2024年2月15日，随着视频生成模型Sora的横空出世，OpenAI再度掀起热潮。

　　Sora将视频生成内容拉到了一个全新的高度，逼真的视频效果刷新了社会对AI能力边界的认知。它的问世，就如同一枚深水炸弹，瞬间引爆全球科技圈。

　　不少业内人士直言，Sora的到来标志着一次质的飞跃。英国皇家工程院国际院士、欧洲科学院院士许彬（Pan Hui）在接受《每日经济新闻》记者采访时表示，“目前Sora在视频生成品质上面绝对是无可匹敌的。Sora生成的视频可以从小特写切大全景，变换不同的机位。”

　　值得注意的是，文生视频大模型并不是一条全新的赛道。为了更直观地呈现Sora的文生视频能力，《每日经济新闻》记者采用OpenAI官方公布的5条Sora视频提示词，对Pika、Runway和PixVerse的文生视频能力进行了测试，并将生成结果与Sora视频进行了对比，测试场景涉及人物特写、电影预告片等5类。

　　对比结果显示，Sora在生成长度、连贯性和视觉细节方面表现出明显的优势，几乎实现了“降维打击”。

　　从ChatGPT到Sora，为何OpenAI能连续打造出“王炸级神器”？

　　加州大学伯克利分校计算机科学 PHD、知乎作者SIY.Z分析称，“如果必须用一个词来展现OpenAI最核心的技术，我觉得是scaling law即怎么样保证模型越大，数据越多，效果就越好。”从文本生成模型 GPT、文生图模型 DALLE，到文生视频模型 Sora，OpenAI或许已经打造出了一条自己的AGI通用技术路线大场景实测：

　　2月15日，OpenAI正式发布了首款文生视频大模型Sora。演示视频一经发布迅速引发业内热议，部分网友更是哀嚎，“要失业了”。

　　由于Sora并未开放测试账号，因此《每日经济新闻》记者采用OpenAI官方公布的5条Sora视频提示词，在街头、卡通动画、人物特写、动物特写以及电影预告片这5大场景下对同类模型Runway、Pika和Pixverse进行了效果测试。同时，将OpenAI官方公布的Sora视频与前述3个文生视频大模型进行了对比。

　　英国皇家工程院国际院士、欧洲科学院院士许彬（Pan Hui）在接受《每日经济新闻》记者采访时也表示，“Sora的核心优势可以总结为，生成高清晰度的长视频。不论是清晰度，还是时长，目前都是第一。

　　OpenAI更专注在照片写实主义的技术，虽然现在去讨论它会否引领新浪潮可能为之尚早，但是目前Sora在视频生成品质上面绝对是无可匹敌的。”

　　不过，需要说明的是，本次效果对比仅基于5个场景下的提示词，场景和提示词的数量均较为有限，并且不同模型生成的结果可能存在随机性。一位技术从业者也向每经记者表示，尽管Sora与其他文生视频大模型的结果对比非常强烈，但不排除Sora的视频是OpenAI多次生成后选取最好的一条予以发布，因此展示效果更优。

　　Sora生成的视频平均长度将近16秒，最长达到20秒，而相比之下，其他三个模型生成的视频长度均在3~4秒左右。Sora最长可以生成长达一分钟的视频，这使得Sora能够更完整地呈现视频内容，使其更适合制作短片、广告和其他应用。

　　Sora生成的视频具有无缝过渡、自然的摄像机移动和流畅的角色动画，增强了整体观看体验。而相比之下，其他模型制作的视频经常会出现场景突变、画面不流畅等问题，影响观看体验。

　　许彬表示，“Sora可以改变视频的视角。Sora生成的视频，可以像一镜到底一样，从小特写切大全景，变换不同的机位，但是保证画面中的人物/物品。同时，（Sora生成的视频中）物体的一致性很强。一致性一向是在视频生成的领域里比较挑战性的一环，而Sora在此方向表现很好。”

　　Sora生成的视频视觉细节丰富，物体纹理清晰，色彩逼真，整体视频质量更高。相比之下，其他模型生成的视频通常显得模糊、细节不足、色彩不那么鲜艳。

　　，与Runway、Pika等相比，Sora在视频生成的真实感、细节表现上均具标志性价值。AI视频生成虽不是新事，但Sora的推出有望推高AI多模态的热度，可关注AI多模态应用塑造数字内容生产与交互新范式，赋能视觉行业，从文字、3D生成、动画、电影、图片、视频、剧集等方面，有望带来内容消费市场的繁荣发展。

　　从Sora身上，可以看到OpenAI沿袭了过往大语言模型训练的许多成功经验机械阀门隔膜阀。

　　Sora视频的逼真和连贯程度着实令人惊叹，而帮助Sora实现能力飞跃的是该模型的两项核心突破。

　　机械阀门隔膜阀

　　OpenAI的文本模型，例如GPT-4，就是采用的Transformer模型，传统的文本到视频模型通常是扩散模型（Diffusion Model），Sora采用的DiT架构则融合了GPT和传统的扩散模型架构。

　　在Sora发布后，谢赛宁在X平台上写道，“当Bill和我参与DiT项目时，我们并未专注于创新，而是将重点放在了两个方面：简洁性（Simplicity）和可扩展性（Scalability）”。他表示，“可扩展性是论文的核心主题，

　　。更重要的是，Sora证明了DiT缩放定律不仅适用于图像，现在也适用于视频Sora复制了DiT中观察到的视觉缩放行为。”

　　在这一点上，Sora的设计思路和GPT-4也是一致的。Patch可以理解为Sora的基本单元，Patch是视频的片段，一个视频可以理解不同Patch按照一定序列组织起来的。就像GPT-4 的基本单元是Token，而Token是文字的片段机械阀门隔膜阀。GPT-4被训练以处理一串Token，并预测出下一个Token。Sora遵循相同的逻辑，可以处理一系列的Patch，并预测出序列中的下一个Patch。

　　机械阀门隔膜阀

　　许彬向记者解释，“把视频数据变成一个个小块（patches），让模型对图像的理解能够像文字一样。参考过往GPT的表现，GPT对文本的语义理解水平非常细腻，将同样的原理应用在视频上，可以增加数据的灵活性以及模型最后的表达能力。”

　　机械阀门隔膜阀

　　图片来源：Sora技术报告正如谢赛宁所谈到的“Scalability”一样，加州大学伯克利分校计算机科学 PHD、知乎作者SIY.Z在知乎上这样写道，

　　“如果必须用一个词来展现OpenAI最核心的技术，我觉得是scaling law即怎么样保证模型越大，数据越多，效果就越好。一句话概括 Sora 的贡献，便是在足量的数据，优质的标注，灵活的编码下，scaling law在transformer + diffusion model的架构上继续成立。”

　　在他看来，数据、标注、编码、底层架构都是来自于此前大模型的成功经验。谢赛宁在X平台也曾提到， Sora有两个关键点尚未被提及，一是关于训练数据的来源和构建，二是关于（自回归的）长视频生成相关的技术细节。

　　值得注意的是，建立在此前成功经验之上的Sora路线，可能会成为接下来的文生视频模型新范式。早在1月，一位前阿里的AI专家在X平台上表示，“我认为，Transformer框架和LLM路线，将是AI视频的一个突破口和新范式，它将使AI视频更加连贯、一致，并且时长更长。目前的Diffusion+Unet路线（如Runway、Pika等），只是暂时的解决方案。”

　　Sora火爆出圈后，资本圈的最新消息是， OpenAI的估值已飙升至800亿美元以上，值得一提的是，该公司的估值在9个月的时间里增长了两倍。

　　在技术和资金的加持下，OpenAI在接下来的时间里，可能还将继续遥遥领先。

　　与之相比，Runway截至目前累计融资超2.5亿美元。TechCrunch报道称，Runway的估值在去年6月底达到15亿美元，其投资者包括谷歌、英伟达、Salesforce等。

　　去年11月，Stability AI的估值达到约10亿美元。不过，Stability AI今年来也不断面临着资金方面的压力。2023年11月，Stability AI被曝出由于财务状况压力巨大正在寻求出售。此外，其重要投资者美国对冲基金Coatue Management还在去年10月致信管理层，要求CEO埃马德莫斯塔克辞职。

　　许多人认为，Sora的出现可以改变一系列创意产业，从电影制作、广告到图形设计，从游戏开发到社交媒体、影响力营销甚至教育科技等领域都将受到影响。

　　不管是电影，还是人人都能参与的短视频，很多危险的，不容易拍摄的场景，都可以让AI帮我们完成。这样大大改变了视频创作的逻辑，也降低了视频创作的门槛。不具备视频拍摄能力的人，通过自己的想象力，也可以变成优秀的视频创作者。”许彬说道。

　　他同时告诉记者，Sora和其他类似的AI视频模型在多个行业都显示出巨大的商业潜力和市场需求。“包括媒体和娱乐、银行、金融服务与保险、零售以及医疗保健等行业将极大受益于生成式AI的进步。这些技术的应用不仅可以优化营销和销售活动，改善客户服务，还能加强产品开发和风险管理。”

　　许彬同时表示，“生成式AI在这些领域的变革潜力已表明了广泛的市场需求和跨行业的巨大经济价值，可能为各个行业创造2.6万亿至4.4万亿美元的价值。”

　　此外，据外媒报道，光速印度合伙人Hemant Mohapatra将Sora的出现比作为潘多拉的魔盒已经打开，将会让一切都发生改变。“它生成的视频质量之高，会让库存视频生成公司立即感受到威胁。”二级市场的腥风血雨已经可以印证这一说法。Sora发布的次日，美国电脑软件公司Adobe股价暴跌超7%；美国图片库、图片素材、图片音乐和编辑工具供应商Shutterstock跌超5%；几周前发布了“文生视频”工具Lumiere的谷歌母公司股价下挫1.58%。三家公司一天内就合计蒸发近480亿美元的市值。

　　另一方面，随着AI的快速发展，有关其风险的讨论也一直未曾停歇，如何防止其被滥用或误用以及如何避免其对人们的认知产生负面影响是业内许多专家探讨的重点之一。“视频生成很容易应用在诈骗领域。很多地方都有人脸识别，视频生成也让过往的技术变得不再安全。

　　随着AI的发展，各国也在致力于加强对AI的监管。早在去年10月，美国白宫首次发布针对AI的行政令，将对AI研发和应用制定全面的监管标准。去年11月，中国、美国、英国、欧盟等多方代表在首届全球人工智能安全峰会上签署了《布莱切利宣言》。

　　许彬认为，未来，重点可能会转向增强（AI）能力机械阀门隔膜阀，同时确保以合乎道德和负责任的方式开发和使用它们，以最大限度地发挥其对各个行业的积极影响。“AI视频模型正在朝着更负责任的AI实践方向发展，（需要）通过投资研发来增强AI应用的安全性和保障。采取积极主动的方法来解决这些社会和伦理问题是可能的。”

　　而令记者感到惊讶的是，在查阅相关的技术解读时发现，Sora从底层架构上来说并非是全新的技术，例如，DiT架构和Patch的论文都是去年就发表的。从Sora身上，也可以看到OpenAI过往大语言模型训练的成功经验。然而，只有OpenAI从旧架构中实现了新的突破，这或许意味着，无论是OpenAI这家公司，还是AI算法本身，它们的边界还远不止于此。