苹果发布HUGS技术:短视频AI生成全新动作和角度

   发布时间:2023-12-20 09:12

【媒体界】12月20日消息,苹果近期公布了一项名为HUGS的全新生成式AI技术,能够在短短30分钟内分析短视频并创造新的动作和角度。

苹果的研究员Anurag Ranjan发布了一则推文,详细介绍了HUGS技术,全称为Human Gaussian Splats,它采用了机器学习和计算机视觉,能够在输入数据有限的情况下生成逼真的人像元素。

据媒体界了解,尽管神经渲染技术已经取得了长足的进步,但目前最适合的应用场景仍然是静态场景的摄影测量,尚不能适用于自由移动的人类环境。

HUGS采用了3D Gaussian Splatting技术,可以在场景中创建出可移动的人类形象。这一方法所需的主体视频数量较少,通常只需要在场景中进行移动并尽可能多地显示表面,系统就能够工作。

在某些情况下,HUGS技术对原始输入数据的需求非常低,最低要求可以达到50到100帧的单目视频,相当于2到4秒的24fps视频。

苹果声称,他们的系统已经经过训练,能够在30分钟内生成静态场景和完全可动画化的人类形象。

官方表示,虽然他们使用了SMPL体模型来初始化人类高斯模型,但无法捕捉每一个细节。对于未建模的元素,如布料和头发,该技术可以填补模型中的空白。

据苹果透露,从训练视频到以60fps的渲染速度输出,可以在半小时内完成人体建模并实现"最先进的渲染质量"动画,比NeuMan和Vid2Avatar等其他方法快了100倍。

 
 
更多>同类内容
全站最新
热门内容
本栏最新