制作成本降低97.5%!“清华版Sora”视频模型Vidu全球首发主体参照技术|钛媒体AGI

2024-09-12 新闻资讯 万阅读 投稿:admin

“清华版Sora”Vidu再度迎来重要更新。

钛媒体App 9月12日消息,在11日生数科技媒体开放日上,由生数科技和清华大学联合研发的国内首个纯自研原创视频大模型Vidu,公布全球首个“主体参照”(SubjectConsistency)技术功能更新,能够实现对任意主体的一致性生成,不局限于单一对象,而是面向“任意主体”,无论是人物、动物、商品,还是动漫角色、虚构主体,都能确保其在视频生成中的一致性和可控性。

生数科技表示,Vidu是全球首个支持“主体参照”能力的 AI 视频大模型,打破了分镜头画面对视频内容的限制,改变了视频创作的“游戏规则”,提供了一定自由度和创新空间。目前,Vidu已经上线,视频生成最长可以生成32秒,用户可以免费注册体验 AI 视频生成功能。

“主体参照”技术对于专业创作领域影响很大。生数科技透露,Vidu与北京电影节 AIGC 短片单元最佳影片得主、Ainimate Lab 合作打造的动画短片《一路向南》,画面质量接近传统动画制作标准,但成本仅为传统流程的 1/40,传统600人天,而基于Vidu做的是15人天,包含导演、美术、建模、灯光、渲染等不同“工种”,相当于视频制作成本降低了大约97.5%,Vidu 大大缩短了制作周期并显著降低成本。

生数科技联合创始人、CEO唐家渝表示,“主体参照”这一全新功能的上线,代表着 AI 完整叙事的开端,AI 视频创作也将迈向更高效、更灵活的阶段。无论是制作短视频、动画作品还是广告片,在叙事的艺术中,一个完整的叙事体系是“主体一致、场景一致、风格一致”等要素的有机结合。

今年4月,清华大学人工智能研究院副院长、生数科技联合创始人兼首席科学家朱军教授发布了长时长、高一致性、高动态性视频大模型Vidu,可以一键生成长达16秒的视频。此次技术更新,Vidu视频最长可以生成32秒。

生数科技联合创始人、CEO 唐家渝

会后群访中,针对与快手、字节等大厂市场竞争话题,唐家渝表示,无论是动态基础能力、语义理解,Vidu都是目前业绩最好、全球首发的能力情况,这是当下非常直观的竞争优势。未来公司坚持自主的底层算法研发,不断突破认知边界,提升现在视频能力的天花板,有更好的稳定提升和补充。

”我们也不是只做基础技术的科研机构,而是一家商业公司,在这个过程中会持续围绕落地行业进行技术能力迭代,努力在实际场景中也有好的一些磨合打造,保持我们对落地这件事情上理解的领先性。”唐家渝称。

谈到视频模型商业化,唐家渝透露,生数落地商业模式有两种:SaaS订阅模式;API形式,即模型能力输出形式提供给客户(MaaS),客户直接调用模型的能力。自7月30日上线以来,我们在全球范围内已收到数万个API接入申请。另外,目前从收入角度看,B端市场的收入更大,是比较明确、比较直接的需求在其中,因此B端是生数科技长期非常重点的方向;C端增长曲线非常高,在不断的探索过程中。

据悉,生数科技成立于2023年,是“清华系”多模态企业的核心团队成员,由清华系 AI 公司瑞莱智慧RealAI、蚂蚁集团和BV百度风投联合孵化成立。今年6月,“生数科技”完成数亿元Pre-A轮融资,目前生数科技投资方包括直投基金北京市人工智能产业投资基金,百度,中关村科学城公司,启明创投,蚂蚁集团、BV百度风投、卓源亚洲、锦秋基金、达泰资本、智谱AI等机构。

钛媒体App了解到,近期生数科技新增工商实体“生數科技(香港)有限公司”,推测该公司接下来可能会考虑港股IPO或发力海外市场等。

(本文首发于钛媒体App,作者|林志佳,编辑|胡润峰)

声明:易百科所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系。