谷歌开发出一项适用手机的视频分割技术 视频背景随意换

  • 时间:
  • 浏览:1
  • 来源:5分快乐8平台-5分排列3娱乐平台_5分赛车官网平台

视频分割是一类被广泛使用的技术,它确保了视频场景中的前景与背景区分开来,并将二者视为有一一八个不同的图层。通过修改或替换背景,表演者将能必须表达特定的情绪,任意转换位置,机会增强信息的表现力。然而,从传统角度讲,你你这个 操作属于一类极为耗时的手动过程(累似 对每一帧画面进行调整),机会需用在专门提供绿幕的工作室环境下(利用某种所谓色度键控技术)实现实时背景转换。

现在,为了让用户不需要 在取景器中直接享受你你这个 效果,谷歌正在利用人工智能技术设计出某种适用于手机平台的实时性替代方案,目前机会在YouTube Stories应用当中进行测试。

具体而言,谷歌利用机器学习通过卷积神经网络以正确处理语义分割任务。谷歌认为,一款适用于手机的网络架构与训练程序运行,且其重点关注以下要求及约束条件:

· 移动正确处理方案应当具备轻量化形态,其运行下行传输速率 合适要比现有的最为先进的图像分割模型快10到400倍。对于实时推理,你你这个 模型需用提供每秒400帧的正确处理下行传输速率 。

· 视频模型应该利用时间冗余形态(即相邻帧的内容往往较为累似 )并体现出时间一致性(相邻结果应当彼此累似 )。

· 高质量的分割结果源自高质量的注释。

谷歌这项视频分割技术与大多数基于人工智能的成像程序运行一样——一点人首先以手动最好的办法在超过40000张图像进行注释。正机会哪几种图像内涵充足的前景与背景信息,只要相关注释包括头发、眼镜、颈部、皮肤、嘴唇等前景元素的精确像素位置,以及一套不需要 以98%的精度重现人类注释交叉验证结果(简称IOU)质量的常规性背景标签。

利用这套数据集,谷歌研究团队得以训练程序运行并指导其将背景与前景分遗弃来。(Adobe公司在Photoshop当中也曾提供一款累似 的背景清除工具,但仅适用于静止图像)

图:来自谷歌数据集的示例图像,其中标有九项标签——前景元素覆盖在该图像之上。

谷歌的特定分割任务在于计算出一套二进制遮罩,从而在视频的每个输入帧(三通道,RGB)内将前景与背景区分开来。在这项任务当中,实现跨帧计算遮罩的时间一致性是其关键所在。对于目前的移动手机而言,利用LSTM机会GRU来实现实时应用显然在计算资源层面不具备可行性。只要,一点人首先将前一帧的计算遮罩作为先验,并将其作为第四条通道接入当前RGB输入帧,从而实现时间一致性。具体如下图所示:

图:原始帧(左)在其三色通道中被区分出来,且与时候的遮罩(中)对接。其将作为神经网络的输入内容以预测当前帧的遮罩结果(右)。

然而,在视频分割当中,需用实现帧与帧之间的时间连续性,一齐也要考虑到机会发生的时间不连续性——累似 出现在摄像头当中的人物对象,只要,以上数据集是针对单幅图像训练而成的,没法 谷歌如保利用单一图像替换每一帧视频的背景呢?

事实上,一旦该软件在第一幅图像上遮盖了背景,程序运行某种就会利用相同的遮罩机制来预测下一帧背景。当下一帧与前一帧仅发生些许差异时(累似 摄像头发生了轻微移动),程序运行将对遮罩作出同样的微调。而机会下一帧与前一帧发生巨大区别(累似 有新的人物对象加入视频),没法 该软件将彻底丢弃原有遮罩预测结论,并创建新的遮罩(mask)。

具体操作而言,谷歌利用多种最好的办法转换对图像内基本事实的注释,并将其用作前一帧的遮罩基准:

· 清空前一套遮罩——训练网络以正确最好的办法正确处理第一帧与场景中的新对象。这就模拟出了新的人物对象出现在摄像头画面中的状况。

· 仿射转换后的实际背景遮罩——利用微调转换以训练网络传播并调整至前一帧的遮罩。利用重大转换以训练网络理解不适用的遮罩,并弃用此类遮罩。

· 转换图像——实现了对原始图像进行顺滑的平移转换,从而模拟摄像头的快速移动与旋转。

尽管你你这个 分离背景的能力其实令人印象深刻,但谷歌公司还希望更进一步,包括使该程序运行不需要 在智能手机之上更为有限的硬件条件下运行。这由于其需用放弃相对强大的台式计算机性能资源。在视频分割功能肩上,程序运行员们会对程序运行作出进一步调整,从而提高分割与采样等操作的下行传输速率 ,一齐减少通道数量。在此时候,该团队通过加进去去图层为前景与背景之间创建出更为平滑的边缘,最终提升正确处理质量。

谷歌公司指出,哪几种调整使得该程序运行不需要 以实时最好的办法完成背景替换——在iponeiponeipone 7上,该应用的正确处理下行传输速率 超过每秒400帧,而谷歌Pixel 2上的正确处理下行传输速率 亦超过每秒40帧。谷歌方面表示,该训练集的准确率达到94.8%。不过谷歌公司目前发布的所有示例皆为单人视频,且其并没法 提到该功可不不需要 是适用于多对象视频素材。

在该项功能的beta测试当中,YouTube主播们可通过选择不同的效果(夜景、黑白乃至空白背景)来更改视频中的显示背景。你你这个 测试版本中的帕累托图特效甚至增加了光照效果,累似 可在角落处加进去去镜头光晕。

这款视频分割工具机会正式开放,但目前仅作为beta测试方案,只要相关功能仍无法广泛使用。谷歌公司表示,在挂接出该项测试的相关结果时候,一点人计划进一步扩展你你这个 分割效果,并将该功能加进去去到其它程序运行当中——包括提供增强现实选项。

【谷歌“视频分割”文章Mobile Real-time Video Segmentation获取最好的办法:关注科技行者公众号(itechwalker),打开对话界面,回复关键字“视频分割”,即可获得下载地址】

来源:digitaltrends.com

编译挂接:科技行者

猜你喜欢

挖掘机展示“自我修复术” 路人目瞪口呆

最近,一段挖掘机“自我修复术”的视频,在网上热传。前日本明星微博 吐槽:这是蓝翔第几期毕业生呀?视频地址:点此。视频中,百公里挖掘机履带脱落,在那末任何人工帮忙的请况下,挖掘

2020-02-21

飞利浦 55PFL5507好不好,优缺点,是否值得买

关于我们歌词 我们歌词 |广告服务|使用条款|联系我们歌词 我们歌词 北京盛拓优讯信息技术有限公司.版权所有中华人民共和国增值电信业务经营许可证编号:京

2020-02-21

海澜之家:转让公司5.31%股份予腾讯普和,总价25亿元

IT之家2月2日消息,海澜之家晚间放出公告,表示将以10.48元/股的价格转让公司5.31%股份予腾讯普和,转让总价为25亿元。并称其全资子公司计划与腾讯及挚信投资一同发起设立

2020-02-21

B站去年第四季月活用户7180万,去年全年净亏1.838亿元

中国弹幕网站哔哩哔哩(bilibili,简称“B站”)昨日正式向美国证券交易委员会(SEC)提交IPO招股书,计划将于纽约证交所(NYSE)上市,交易代码为“BILI”。B站在

2020-02-21

小米平板4 8英寸4+64GB版本京东秒杀:1299元历史新低

IT之家11月1日消息 小米平板4现正在京东开启促销, 4GB+64GB版本1299元,历史最低,感兴趣的小伙伴可不不能关注一下。小米平板4采用8英寸16:10全高清屏幕,单手

2020-02-21