Runway发布新一代视频生成模型,行业还有哪些难题待解?

admin admin
13
2024-06-18
界面新闻记者|陈振芳界面新闻编辑|文姝琪  美东时间6月17日,Runway发布新一代视频生成模型Gen-3Alpha,视频生成赛道上再添“大将”。  Runway是一家视频、媒体和艺术的生成式AI公司,在美国纽约于2018年成立,为电影和视频制作中的内容生成构建基础多模式AI模型。目...

界面新闻记者 | 陈振芳

Runway发布新一代视频生成模型,行业还有哪些难题待解?

界面新闻编辑 | 文姝琪

  美东时间6月17日,Runway发布新一代视频生成模型Gen-3Alpha,视频生成赛道上再添“大将”。

  Runway是一家视频、媒体和艺术的生成式AI公司,在美国纽约于2018年成立,为电影和视频制作中的内容生成构建基础多模式AI模型。目前该公司已经完成C轮融资,累计融资金额达2.36亿美元,估值达15亿美元,投资者包括谷歌、Nvidia和Salesforce。

  2023年2月,该公司连续发布生成式AI系统Gen-1以及多模态AI系统Gen-2,该模型能够通过图像或文本提示生成视频。

  该公司表示,Gen-3Alpha是对此前Gen-2模型在保真度、一致性和运动性有了重大改进。

  在细粒度时间控制上,Gen-3Alpha具有高度描述性、时间密集的字幕,能够实现丰富的过渡和场景中元素的精确关键帧。Gen-3Alpha擅长通过各种动作、手势和情感产生富有表现力的人类角色。

Runway发布新一代视频生成模型,行业还有哪些难题待解?

  Runway在官网表示,Gen-3Alpha在视频和图像方面接受联合训练,将为Runway的文本到视频、图像到视频和文本到图像工具、运动刷、高级相机控制、导演模式等现有控制模式以及即将推出的工具提供动力,以更精细地控制结构、风格和运动。

  另一方面,该公司称Gen-3Alpha将发布一套新的保障措施,包括内部视觉审核系统和C2PA来源标准。

  该公司创始人Germanidis接受TechCrunch采访时表示:“Gen-3Alpha模型在处理复杂的角色和物体交互时可能会遇到困难,生成过程并不总是严格遵循物理定律。首次推出的版本将支持5秒和10秒的高分辨率生成,生成时间明显快于Gen-2。生成一段5秒的视频需要45秒,生成一段10秒的视频则需要90秒。”

  值得一提的是,Runway并未在相关消息及采访中透露训练数据来源。而这也是目前生成式模型最容易遭遇挑战的部分——版权问题。此前,360创始人、董事长兼CEO周鸿祎发布该公司新产品——360AI时,被艺术家创作者指责窃取其作品,双方“隔空喊话”,版权争议一直是行业顽疾。

  “我们正在与艺术家密切合作,找出解决这一问题的最佳方法,”Germanidis告诉TechCrunch,“我们正在探索各种数据合作伙伴关系,以便进一步发展和构建下一代模型。”

  Germanidis还声称,其全新改进的内部视觉和文本审核系统采用自动监督来过滤掉不适当或有害的内容。C2PA身份验证可验证使用所有Gen-3模型创建的媒体的出处和真实性。随着模型功能和生成高保真内容的能力不断提高,公司将继续在协调和安全工作上投入大量资金。

Runway发布新一代视频生成模型,行业还有哪些难题待解?

  当前,生成式模型赛道上挤满了对手,包括Sora、pika、Vidu、Luma AI等,竞争愈发激烈。

  Runway在博客上表示,Gen-3Alpha也是朝着构建通用世界模型迈出的一步。这与中国公司的同行们判断一致。

  近日,生数科技CTO鲍凡在智源大会的视觉大模型论坛上表示,从Vidu4D的工作里面看到,这种视频大模型有作为世界模型的潜力,把世界上各种物理规律都给模拟出来,后续再结合3D或者4D的技术进行开发。

  他认为,要通往世界模型有两条路。一是通过大语言模型,先把抽象的知识构建好,再拓展成世界模型。第二条是把物理规律构建好,拓展成世界模型,这两条道路目前都是探索状态。

  与此同时,生成视频的成本问题也备受关注。爱诗科技创始人王长虎在智源大会上透露,现在生成一个三五秒钟的视频需要耗时几十秒。如果采用RTX 4090芯片,用时40秒钟,或者60秒钟的成本大概1、2美元左右,未来成本还会进一步下降。

  他指出,AI视频生成产品能用的也就是3秒-5秒,生成视频越长,误差随之会更大,这是接下来行业要解决的问题。

  王长虎表示,目前生成视频还存在以下三个问题。第一,生成视频往往是单镜头的,真正的视频是由多个镜头组合,多镜头的内容是未来AI视频生成要解决的问题。其次,当前等待时长比较长,普通用户很难玩起来。第三,推理成本高,也是行业亟待解决的问题。

其他相关 RELEVANT MATERIAL

李彦宏坚称不做视频生成模型,中国版Sora到底值不值得做?

admin admin
1
2024-10-21
  近日,百度CEO李彦宏称“百度不做Sora”的演讲被媒体曝光后,有关“中国版Sora到底值不值得做”的话题又在微博、小红书等社交媒体引发众多争论。  李彦宏在内部讲话中称,Sora这种视频生成模型的投入周期太长,10年、20年都可能拿不到业务收益,无论多火爆,百度都不去做。  反对的声音认为......

强强联手!Meta与好莱坞Blumhouse合作开发AI电影生成模型

admin admin
5
2024-10-18
  财联社10月18日讯(编辑牛占林)当地时间周四,美国科技巨头Meta宣布,已经与制作了《人类清洗计划》和《逃出绝命镇》等热门恐怖片的好莱坞公司BlumhouseProductions达成合作,将联合开发其人工智能(AI)视频模型MovieGen。  本月早些时候,Meta发布了新的AI模......

谷歌与核能公司签署协议 AI“吞电困境”有望缓解?

admin admin
4
2024-10-15
谷歌(GOOGL.US)周一表示,将从核能初创公司Kairospower生产的一系列小型核能反应堆(SMR)中购买电力。该巨头表示,从多个SMR购买电力向市场发出了“重要的需求信号”,同时也为加速商业化进行了长期投资。受此消息提振,先进核技术公司Oklo(OKLO.US)和NuScalePowe......

光伏银浆“双雄”逆势增长 应收账款风险何解?

admin admin
3
2024-09-28
  来源:中国经营报  本报记者张英英吴可仲北京报道  当前,光伏行业正处于深度洗牌调整期,其主产业链各环节的波动直接影响辅耗材企业的生存质量。  光伏电池之于光伏银浆即是如此。9月19日,光伏银浆龙头聚和材料(688503.SH)人士在接受《中国经营报》记者采访时表示,2024年上半年......

国盛证券:8月社融和M1背离,如何理解?

admin admin
7
2024-09-14
  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!  国盛证券首席经济学家,熊园(金麒麟分析师)博士  国盛证券宏观分析师,穆仁文(金麒麟分析师)  事件:2024年8月新增人民币贷款9000亿,预期8850亿,去年同期1.36万亿;新增社融3.03万亿,预期2.7......

深度|政府投资基金募资难、花钱难、退出难,如何破解?

admin admin
11
2024-09-12
  专家认为,解决问题的核心在于厘清政府与市场的边界,回归引导性、服务性政府角色,将基金运营中的市场问题交给市场解决。  为了充分发挥财政资金撬动产业转型升级,近些年中国政府投资基金规模逐年攀升,已超7万亿元。这笔资金能否规范高效使用成为社会关注焦点。  近期,一些省份陆续公开了2023年当地预......
年度爆文