当前位置:统一通信/协作企业动态 → 正文

Facebook 公布全身追踪技术,不只是脸,整个身体都可实现 AR 效果

责任编辑:editor007 作者:何忞 |来源:企业网D1Net  2018-01-26 19:45:11 本文摘自:雷锋网

Facebook 公布全身追踪技术,不只是脸,整个身体都可实现 AR 效果

日前,Facebook 人工智能摄像团队(AI Camera Team)正在研发各种计算机视觉技术和创新工具,帮助人们更有创意地表达自我。比如,利用实时“风格转换”技术,你可以制作出“梵高风”的照片和视频。使用实时面部追踪技术,你可以实现“一键美妆”或者“换头术”,变化成各种卡通头像。那么,你有想过“换身术“吗?Facebook 团队的 AR 全身追踪技术或许可以帮你实现。雷锋网(公众号:雷锋网)将该团队目前取得的成果编译如下。

为了实现“换身术”,我们需要实时并准确地检测和追踪身体动作。这其实是一个非常具有挑战性的问题,因为身体姿势和动作变化会很大,识别起来并不容易。一个人可以是坐着的,走着的或是跑动着的;人们可能穿着长外套或者短裤; 有时候人的身体还会被他人或物体阻挡。这些因素都大大增加了身体追踪系统保持稳健性的难度。

我们团队最近开发了一种新的技术,可以准确地检测到身体姿势,同时将人体从背景中分割出来。目前,我们的模型还处于研究阶段,但这个模型的好处在于,它只有几兆大小,可以在智能手机上实时运行。不久之后,它还可以衍生出许多新的应用程序,比如创建“全身面具”,使用手势来控制游戏,或者对人体进行“去识别化(de-identifying)”。

MaskR-CNN2Go的架构

我们的人体检测和分割模型基于一个叫做“Mask R-CNN”的框架。这是一个简单、灵活且十分通用的对象检测和分割框架。它可以高效地检测图像中的对象,同时预测关键点的运行轨迹,并为每个对象生成一个分割掩码(segmentation mask)。Mask R-CNN 框架研究获得了 ICCV 2017 年度最佳论文奖。为了在移动设备上实时运行 Mask R-CNN 模型,Facebook 的 Camera,FAIR 和 AML 团队的研究人员和工程师共同合作,构建了一个高效而轻量的框架模型:“Mask R-CNN2Go”。

Mask R-CNN2Go 模型由五个主要组件组成:

1、主干模型包含多个卷积层,并且生成输入图像的深层特征表征。

2、候选区域生成网络(RPN)以预定的比例和纵横比(锚点)生成候选对象。OI-Align 层从每个对象的边界框中提取其特征并将它们发送到探测端。

3、探测端口包含一组卷积层,池化层和全连接层。它能预测每个候选框中的对象有多大可能是一个人体。探测头还可以改进边界框的坐标,将非极大抑制值的相邻框候选框进行分组,并为图像中的每个人生成最终的边界框。

4、利用每个人的边界框,我们使用第二个 ROI-Align 层来提取特征,这些特征来自于关键点端口和分割端口的输入。

5、关键点端口与分割端口具有相似的结构。它为身体上的每个预定关键点预测出一个掩码。并使用单一最大扫描来生成最终坐标。

Facebook 公布全身追踪技术,不只是脸,整个身体都可实现 AR 效果

  一个针对移动设备而优化的轻量级模型

与现代 GPU 服务器不同,手机的算力和存储空间都十分有限。Mask R-CNN 最初的模型是基于 ResNet的,它太大而且太慢,无法在手机上运行。为了解决这个问题,我们为移动设备开发了一个非常优化而高效的模型架构。

我们使用了几种方法来减小模型的大小。首先,我们优化了卷积层的数量和每层的宽度,这也是我们在处理中最耗时的部分。为了确保拥有足够大的感受野,我们使用了包括 1×1,3×3 和 5×5 的内核大小的组合。另外,我们还使用权重剪枝算法来缩减模型。我们的最终模型只有几兆字节,但是非常精准。

模块化设计提高了计算速度

为了能够实时运行深度学习算法,我们使用并优化了我们的核心框架: 载有 NNPack 的 Caffe2,SNPE和 Metal。通过使用移动 CPU 和包含 NNPack,SNPE 和 Metal 在内的 GPU 库,我们能够显着提高移动计算的速度。并且,所有这些都是通过模块化设计完成的,并不需要改变模型的一般定义。因此,我们既可以获得较小的模型,又可以获得较快的运行时间,同时避免了潜在的不兼容问题。

Facebook AI 研发团队(FAIR)最近发布了 Mask R-CNN 研究平台(Detectron)。我们开源了 Caffe2 运算符(GenerateProposalsOp,BBoxTransformOp,BoxWithNMSLimit 以及 RoIAlignOp)并提供了必要的模型转换代码,供研究社区使用。

下一步是什么

开发移动设备的计算机视觉模型是一项艰巨的任务。移动设备模型必须小巧,快速而准确,并且不需要大量内存。我们将继续探索新的模型架构,力求进一步提升模型效率。我们还将探索更适合移动 GPU 和 DSP 的模型,让它们更加节省电量和算力。

via research.fb.com 雷锋网雷锋网编译

关键字:Facebook追踪技术

本文摘自:雷锋网

x Facebook 公布全身追踪技术,不只是脸,整个身体都可实现 AR 效果 扫一扫
分享本文到朋友圈
当前位置:统一通信/协作企业动态 → 正文

Facebook 公布全身追踪技术,不只是脸,整个身体都可实现 AR 效果

责任编辑:editor007 作者:何忞 |来源:企业网D1Net  2018-01-26 19:45:11 本文摘自:雷锋网

Facebook 公布全身追踪技术,不只是脸,整个身体都可实现 AR 效果

日前,Facebook 人工智能摄像团队(AI Camera Team)正在研发各种计算机视觉技术和创新工具,帮助人们更有创意地表达自我。比如,利用实时“风格转换”技术,你可以制作出“梵高风”的照片和视频。使用实时面部追踪技术,你可以实现“一键美妆”或者“换头术”,变化成各种卡通头像。那么,你有想过“换身术“吗?Facebook 团队的 AR 全身追踪技术或许可以帮你实现。雷锋网(公众号:雷锋网)将该团队目前取得的成果编译如下。

为了实现“换身术”,我们需要实时并准确地检测和追踪身体动作。这其实是一个非常具有挑战性的问题,因为身体姿势和动作变化会很大,识别起来并不容易。一个人可以是坐着的,走着的或是跑动着的;人们可能穿着长外套或者短裤; 有时候人的身体还会被他人或物体阻挡。这些因素都大大增加了身体追踪系统保持稳健性的难度。

我们团队最近开发了一种新的技术,可以准确地检测到身体姿势,同时将人体从背景中分割出来。目前,我们的模型还处于研究阶段,但这个模型的好处在于,它只有几兆大小,可以在智能手机上实时运行。不久之后,它还可以衍生出许多新的应用程序,比如创建“全身面具”,使用手势来控制游戏,或者对人体进行“去识别化(de-identifying)”。

MaskR-CNN2Go的架构

我们的人体检测和分割模型基于一个叫做“Mask R-CNN”的框架。这是一个简单、灵活且十分通用的对象检测和分割框架。它可以高效地检测图像中的对象,同时预测关键点的运行轨迹,并为每个对象生成一个分割掩码(segmentation mask)。Mask R-CNN 框架研究获得了 ICCV 2017 年度最佳论文奖。为了在移动设备上实时运行 Mask R-CNN 模型,Facebook 的 Camera,FAIR 和 AML 团队的研究人员和工程师共同合作,构建了一个高效而轻量的框架模型:“Mask R-CNN2Go”。

Mask R-CNN2Go 模型由五个主要组件组成:

1、主干模型包含多个卷积层,并且生成输入图像的深层特征表征。

2、候选区域生成网络(RPN)以预定的比例和纵横比(锚点)生成候选对象。OI-Align 层从每个对象的边界框中提取其特征并将它们发送到探测端。

3、探测端口包含一组卷积层,池化层和全连接层。它能预测每个候选框中的对象有多大可能是一个人体。探测头还可以改进边界框的坐标,将非极大抑制值的相邻框候选框进行分组,并为图像中的每个人生成最终的边界框。

4、利用每个人的边界框,我们使用第二个 ROI-Align 层来提取特征,这些特征来自于关键点端口和分割端口的输入。

5、关键点端口与分割端口具有相似的结构。它为身体上的每个预定关键点预测出一个掩码。并使用单一最大扫描来生成最终坐标。

Facebook 公布全身追踪技术,不只是脸,整个身体都可实现 AR 效果

  一个针对移动设备而优化的轻量级模型

与现代 GPU 服务器不同,手机的算力和存储空间都十分有限。Mask R-CNN 最初的模型是基于 ResNet的,它太大而且太慢,无法在手机上运行。为了解决这个问题,我们为移动设备开发了一个非常优化而高效的模型架构。

我们使用了几种方法来减小模型的大小。首先,我们优化了卷积层的数量和每层的宽度,这也是我们在处理中最耗时的部分。为了确保拥有足够大的感受野,我们使用了包括 1×1,3×3 和 5×5 的内核大小的组合。另外,我们还使用权重剪枝算法来缩减模型。我们的最终模型只有几兆字节,但是非常精准。

模块化设计提高了计算速度

为了能够实时运行深度学习算法,我们使用并优化了我们的核心框架: 载有 NNPack 的 Caffe2,SNPE和 Metal。通过使用移动 CPU 和包含 NNPack,SNPE 和 Metal 在内的 GPU 库,我们能够显着提高移动计算的速度。并且,所有这些都是通过模块化设计完成的,并不需要改变模型的一般定义。因此,我们既可以获得较小的模型,又可以获得较快的运行时间,同时避免了潜在的不兼容问题。

Facebook AI 研发团队(FAIR)最近发布了 Mask R-CNN 研究平台(Detectron)。我们开源了 Caffe2 运算符(GenerateProposalsOp,BBoxTransformOp,BoxWithNMSLimit 以及 RoIAlignOp)并提供了必要的模型转换代码,供研究社区使用。

下一步是什么

开发移动设备的计算机视觉模型是一项艰巨的任务。移动设备模型必须小巧,快速而准确,并且不需要大量内存。我们将继续探索新的模型架构,力求进一步提升模型效率。我们还将探索更适合移动 GPU 和 DSP 的模型,让它们更加节省电量和算力。

via research.fb.com 雷锋网雷锋网编译

关键字:Facebook追踪技术

本文摘自:雷锋网

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^