李彦宏坚称不做视频生成模型,中国版Sora到底值不值得做?

admin admin
2
2024-10-21
  近日,百度CEO李彦宏称“百度不做Sora”的演讲被媒体曝光后,有关“中国版Sora到底值不值得做”的话题又在微博、小红书等社交媒体引发众多争论。  李彦宏在内部讲话中称,Sora这种视频生成模型的投入周期太长,10年、20年都可能拿不到业务收益,无论多火爆,百度都不去做。  反对的声音认为...

  近日,百度CEO李彦宏称“百度不做Sora”的演讲被媒体曝光后,有关“中国版Sora到底值不值得做”的话题又在微博、小红书等社交媒体引发众多争论。

李彦宏坚称不做视频生成模型,中国版Sora到底值不值得做?

  李彦宏在内部讲话中称,Sora这种视频生成模型的投入周期太长,10年、20年都可能拿不到业务收益,无论多火爆,百度都不去做。

  反对的声音认为,这属于百度自身业务的问题。国内目前在视频生成模型上最有希望的公司是快手和字节跳动,二者的业务离视频更近,待其视频生成足够优秀之后会快速完成拉新,并带动用户体验提升。

  快手和字节跳动是国内互联网大厂中积极布局视频生成大模型的公司。Sora发布后,快手便推出文生视频大模型“可灵”,其背后的技术原理和OpenAI的Sora类似,都是把常用于视频生成人工智能的扩散模型与Transformer架构相结合,依托于快手短视频平台,拥有大量可用于训练的视频数据。“可灵”发布几个月之后,字节跳动旗下火山引擎发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed两款大模型,面向企业市场开启邀测。

  除字节跳动和快手之外,今年发布视频生成模型的公司还包括阿里云、Minimax、生数科技、智谱AI等公司。

  国内视频生成模型领域虽然看起来火热,但确实面临着非常严峻的挑战,李彦宏对视频生成做出的判断并非无稽之谈。

李彦宏坚称不做视频生成模型,中国版Sora到底值不值得做?

  界面新闻从一位负责视频生成模型的技术人士处了解到,生成式AI技术正大幅降低视频生成的门槛,导致视频数据以20倍左右的速度增长,对计算成本和效率提出了严峻的挑战。以Sora模型为例,其训练和推理所需的算力需求分别达到了GPT-4的4.5倍和近400倍。

  中国银河证券研究院的报告也显示,Sora对算力需求呈指数级增长。其根据Sora参数规模推演出的训练单次算力需求或可达到2.6×10^24Flops,相当于GPT-3175B的8.2倍。目前Sora还在初级阶段,伴随不断迭代调优,其训练数据集规模将进一步增大,未来算力需求也会大幅增加。

  上述技术人士还表示,在编解码层和框架层,视频生成模型也面临着诸多挑战。一方面是效率的问题,另一方面是在计算需求日益增长的情况下,能否灵活处理越来越复杂的需求。

  这些都对视频生成模型形成巨大考验,但其在商业化上的形势仍然不够明朗,一定程度上使训练和推理成本上的挑战更为严峻。

  据界面新闻了解,目前视频生成模型的落地大多在影视制作、电商营销等领域,处于概念多于实质的阶段。

  快手曾高调推出由可灵深度参与制作的奇幻微短剧《山海奇镜之劈波斩浪》,并于近日联合李少红、贾樟柯等9位知名导演,启动了完全依托视频生成大模型制作电影短片“可灵AI”导演共创计划,试图以此来证明视频生成大模型在影视制作领域的可用性。

李彦宏坚称不做视频生成模型,中国版Sora到底值不值得做?

  但《山海奇镜之劈波斩浪》整部影片并不是由AI一气呵成,而是使用可灵大模型的文生图和图生视频功能生成了很多时长5秒的分镜头,再由后期剪辑团队剪辑而成。其在成本上整体的降幅不超过四分之一,远不如外界预期的那么大。

  从快手近期的一系列动作来看,其仍然在为可灵AI的落地寻找更多应用场景。比如,快手试图通过资源和流量扶植的方式,让品牌方、制作机构、媒体等需求方能够与AIGC创作者进行商务合作,以支持使用可灵AI的创作者获得变现机会。这在一定程度上反映了AIGC的变现并不像想象中的那么容易。

  在这些挑战之下,视频生成模型领域的一个发展趋势是降本。虽然很多公司依然在积极投入视频生成模型,但尽可能降低训练和推理成本,已经是很多公司都在探索的方向。

  在预处理过程统一视频的数据格式、提高数据质量、实现数据标准化、减少数据量以及处理标注信息,则是其他一些公司降本的重点。抖音一位视频架构技术负责人表示,超大规模视频训练数据集导致计算和处理成本激增、视频样本数据参差不齐,以及处理链路环节多、工程复杂等,都让视频生成模型训练和推理成本增加。同时,对GPU、CPU、ARM等多种异构算力资源的调度部署也是挑战之一。

  据界面新闻了解,豆包视频生成模型自研了多媒体处理框架BMF来应对模型训练的算力成本挑战,该方案可使用大量潮汐资源,为模型训练提供支撑。

  除此之外,通过自研芯片在同等视频压缩效率下实现视频大模型训练和推理成本降低,是部分互联网大厂选择的方向。而一些AIGC公司则在探索将低质量视频与高质量图像相结合,在保障视频输出画质的基础上降低训练模型成本的方法。当成本真的降下来,视频生成模型的未来之路也会更加明晰。

其他相关 RELEVANT MATERIAL

强强联手!Meta与好莱坞Blumhouse合作开发AI电影生成模型

admin admin
5
2024-10-18
  财联社10月18日讯(编辑牛占林)当地时间周四,美国科技巨头Meta宣布,已经与制作了《人类清洗计划》和《逃出绝命镇》等热门恐怖片的好莱坞公司BlumhouseProductions达成合作,将联合开发其人工智能(AI)视频模型MovieGen。  本月早些时候,Meta发布了新的AI模......

Sora概念震荡拉升 昆仑万维涨超10%

admin admin
7
2024-10-17
专题:三季报披露窗口期机构研判投资方向  10月17日消息,昆仑万维(维权)、因赛集团涨超10%,此前中广天择涨停,华扬联众(维权)、万兴科技、福石控股等跟涨。  中信建投研报指出,今年以来,Meta、谷歌、Runway、Pika、字节跳动、快手、阿里、Minimax均发布AI视频模型,都具备......

Sora劲敌!Meta最强沉浸式AI媒体模型来了

admin admin
10
2024-10-05
  来源:硬AI  OpenAI的Sora迎来劲敌,Meta推出号称最先进的媒体基础模型MovieGen。  Meta称,MovieGen是公司“针对媒体的突破性生成式AI研究”,它囊括了图像、视频和音频等模态,用户只需输入文本,就可以制作自定义的视频和声音、编辑现有视频,以及将个人图像转换......

OpenAI又失一员猛将!Sora负责人之一宣布跳槽谷歌Deepmind

admin admin
10
2024-10-05
  财联社10月4日讯(编辑周子意)OpenAI的人事动荡还在继续中,该公司视频生成器Sora的联合负责人之一蒂姆·布鲁克斯(TimBrooks)最新宣布,已跳槽至谷歌。  Brooks曾与威廉·皮布尔斯(WilliamPeebles)共同负责Sora的开发工作。在他LinkedIn的个人资......

Sora概念股开盘反弹 华扬联众2连板

admin admin
7
2024-09-12
专题:加快发展新质生产力成首要任务资本市场积极因素正不断累积  9月12日消息,华扬联众(维权)2连板,中广天择、因赛集团、万兴科技、元隆雅图、昆仑万维(维权)、天娱数科、捷成股份等跟涨。  消息面上,OpenAI计划在未来两周内发布“草莓”模型,作为其ChatGPT服务的一部分。......

Sora陷研究泥潭?OpenAI一年血亏50亿,高盛报告乌龙引AI股地震!

admin admin
7
2024-09-09
  转自:新智元  媒体曝出,Sora陷入了研究困境。背后原因是安全风险及与好莱坞的合作。另外最近高盛的报告错误解读了ChatGPT流量下降,直接引爆市场的恐慌情绪,导致AI股票纷纷被抛售。  Sora深陷研究困境?  Sora在今年二月发布后,至今还是‘期货’,为何迟迟不开放呢?  就在......
年度爆文