您当前所在位置: 首页 > 永利皇宫官网下载 > 澳门皇冠视频现在地址,谷歌发布人体图像分割工具BodyPix 2.0,可在iPhone上流畅运行

澳门皇冠视频现在地址,谷歌发布人体图像分割工具BodyPix 2.0,可在iPhone上流畅运行

作者:匿名 更新:2020-01-09 12:48:47

澳门皇冠视频现在地址,谷歌发布人体图像分割工具BodyPix 2.0,可在iPhone上流畅运行

澳门皇冠视频现在地址,晓查 发自 凹非寺 量子位 报道 | 公众号 qbitai

今天,google官方推出了使用tensorflow.js的人体图像分割工具bodypix 2.0,对该工具进行了一次重大升级,加入多人支持,并提高了准确率。

bodypix能将图像分割为属于人的和不属于人的像素,属于人的部分可以进一步分类为二十四个身体部位之一。

bodypix可以直接在浏览器中运行,开发者只需加入几行代码,即可与电脑或手机的摄像头配合使用。

在使用默认设置的情况下,bodypix可以在15寸macbook pro上以25 fps的速度估计,并渲染人和身体部位的分割。而在iphone x上,bodypix能以21 fps的速度进行估计。

bodypix于今年2月推出,本次2.0版的主要更新有:对多人图像的支持、增加基于resnet-50的模型、新的api、权重量化以及对不同尺寸图像的支持。

在项目的github主页上,tensorflow给出了bodypix 2.0软件的一些基本用法演示,还有网页版demo供用户体验。

人像分割

对于给定具有一个或多个人的图像,人像分割可预测所有人的分割。segmentperson返回personsegmentation,对应于图像中人物分割的对象。

segmentperson默认不会在不同的个人之间消歧义。因此如果您需要对不同的人进行区分,请使用segmentmultiperson,不过引入此方法会导致运行速度变慢。

以上结果返回的是一组0和1的数组,用于表示该像素点是否属于人。

身体部位细分

bodypix的segmentpersonparts方法可以预测所有人的24个身体部位分割。

partsegmentation会所有合并的人,返回值是每个像素与身体部位相对应的编码。同样的,如果需要区分多人,请使用segmentmultipersonparts。

身体不同部位对应的编码如下表所示:

把结果输出到图像上

bodypix还包含其他实用程序功能,可以将输出结果与原始图像合成,得到你所需的渲染图像。

bodypix.tomask可以给人和背景加上一层蒙版,指定渲染像素的颜色和不透明度。

bodypix.tocoloredpartmask可以给人体部位分割加上一个24色的颜色数组,每个身体部位都对应着数组中的一个颜色。

以上是bodypix的基础功能的用法。

既然bodypix可以区分出人体和背景 ,我们就可以用它实现实时的背景虚化,调用的api方法是bodypix.drawbokeheffect。

利用bodypix识别出身体不同部位的功能,可以调用bodypix.blurbodypart给人脸打上马赛克。

此外还有更多的图像绘制api,在此就不一一列举了。

bodypix使用非常简便,用户可以将其与脚本标签一起嵌入html使用:

或者通过npm方式安装:

然后使用es6模块导入:

bodypix带有不同尺寸的模型,具有不同的性能。通过设定模型的大小和输出步长,可以在运行速度和准确性之间进行权衡。

默认情况下,bodypix加载的是0.75倍的mobilenetv1架构,适合中低端gpu的计算机使用,而导入0.50倍的模型可以用于移动设备。

倍率的数值越大,神经网络中层的尺寸也越大,准确率更高、推理速度更慢。不同倍率模型的性能对比如下:

对于具有更强大gpu的计算机,官方建议使用resnet架构,这一部分也是2.0版加入的新功能。

bodypix的核心是执行人体分割的算法,对输入图像的每个像素执行二进制决策,以估计该像素是否属于某个人。

图像通过mobilenet网络馈送,并且使用s型激活函数将输出转换为0到1之间的值。

为了估计身体部位的分割,bodypix使用相同的mobilenet表示,但是这次通过预测额外的24个通道输出张量p来重复上述过程,其中二十四是身体部位的数量。每个通道编码身体某部位是否存在的概率。

输出张量p中有24个通道,因此需要在24个通道中找到最佳部分。在推断期间,对于输出身体部位张量p的每个像素位置(u,v),body_part_id使用以下公式选择属于第i个部位概率最高的像素:

这将产生一个二维图像,每个像素都包含一个整数,该整数表示该像素属于哪个身体部位。通过将值设置为-1,可以把不属于人体的部分剔除掉。

试玩demo:https://storage.googleapis.com/tfjs-models/demos/body-pix/index.html

官方博客:https://blog.tensorflow.org/2019/11/updated-bodypix-2.html

github地址:https://github.com/tensorflow/tfjs-models/tree/master/body-pix

— 完 —

量子位 qbitai · 头条号签约

关注我们,第一时间获知前沿科技动态

热门推荐

最新排行

© Copyright 2018-2019 franceshills.com 永利皇宫安卓下载 Inc. All Rights Reserved.