NeurIPS 2019:英伟达展示基于AI的自动编舞软件

2019年12月10日 16:52 次阅读 稿源:cnBeta.COM 条评论

最近,英伟达宣布了该公司在人工智能(AI)研究领域的诸多进展。比如本月早些时候,该公司就与 Hackster 合作,在 Edge 挑战赛上介绍了自家的 AI 。其能够利用 Jetson Nano 开发者套件,打造基于神经网络的新模型。同时,英伟达在 11 月发布了多模式 AI 软件开发套件 Jarvis,能够将多种传感器整合到一个系统中。此外,该公司设计了一种新算法的原型,可帮助机器人拾取任意物体。

访问:

阿里云推出高校特惠专场:0元体验入门云计算 快速部署创业项目

访问购买页面:

京东NVIDIA系列商品汇总

example.gif

(题图 via Neowin

不过本文要为大家介绍的,则是英伟达在 NeurIPS 2019 上推出的一种基于深度学习的新模型。它能够根据输入的音乐,自动生成合适的舞蹈动作。

这款由加州大学和默塞德大学合作开发的能够自动编舞的软件,亦被称作 AI Choreographer 。

尽管表面上看起来并不难,但研究团队注意到:测量音乐和舞蹈之间的精确相关性,仍需考虑诸多的变量,比如音乐的节拍和风格。

为此,研究团队收集了三种具有代表性的舞蹈类别,分别是芭蕾舞、尊巴舞、以及嘻哈。在分析了 36.1 万段舞蹈剪辑后,研究人员再通过训练系统来使用对抗网络(GAN)。

1575964877_nvidia_ai_choreographer_model_schematic.jpg

作为分解合成框架的核心组件,GAN 的复杂程度如上图所示(来自:GitHub

自上而下来看,团队借助运动节拍检测器,对从实际舞蹈序列中切割出来的各个单元进行归一化,然后训练 DU-VAE 对舞蹈单元进行建模。

编舞阶段,需给予其一定的音乐与舞蹈数据源,然后借助 MM-GAN 学习如何根据特定音乐来编排各个小节。

测试期间,研究人员从音乐中提取了样式和节拍,然后以循环方式合成一系列舞蹈单元,最终套上节拍整形器进行梳理输出。

为了训练模型,研究团队使用了 PyTorch 深度学习框架和 Nvidia Tesla v100 GPU,辅以 OpenPose 执行姿势处理。

后者是一种实时多人系统,用于联合检测单个图像中的人体、手部、面部和足部的关键点。

展望未来,Nvidia 计划将这套方法拓展到其它舞蹈风格,比如流行舞和伴舞。NeurIPS 会议结束后,相关源码和模型将在 GitHub 上发布。

相关文章:

Nvidia研究人员提出用2D图像生成3D对象的渲染框架的方法

访问:

Verisign - .com域名的守护者 为品牌代言

对文章打分

NeurIPS 2019:英伟达展示基于AI的自动编舞软件

1 (14%)
已有 条意见

    最新资讯

    加载中...

    今日最热

    加载中...

    热门评论

      Top 10

      招聘


      Advertisment ad adsense googles cpro.baidu.com
      created by ceallan