菜宝钱包(caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

首页快讯正文

usdt跑手网(www.caibao.it):继Facebook开源PyTorch3D后,谷歌开源TensorFlow 3D场景理解库

admin2021-04-2147

USDT自动充值API接口

菜宝钱包(caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

原题目:继Facebook开源PyTorch3D后,谷歌开源TensorFlow 3D场景明白库

机械之心报道

编辑:杜伟、陈萍

继 2020 年头 Facebook 开源基于 PyTorch 的 3D 盘算机视觉库PyTorch3D之后,谷歌也于克日开源了一个基于 TF 框架的高度模块化和高效处置库 TensorFlow 3D。现在,该库已经开源。

3D 盘算机视觉是一个异常重要的研究课题,选择合适的盘算框架对处置效果将会发生很大的影响。此前,机械之心曾先容过 Facebook 开源的基于 PyTorch 框架的 3D 盘算机视觉处置库 PyTorch3D,该库在 3D 建模、渲染等多方面处置操作上表现出了更好的效果。

最近,另一个常用的深度学习框架 TensorFlow 也有了自己的高度模块化和高效处置库。它就是谷歌 AI 推出的 TensorFlow 3D(TF 3D),将 3D 深度学习能力引入到了 TensorFlow 框架中。TF 3D 库基于 TensorFlow 2 和 Keras 构建,使得更易于构建、训练和部署 3D 语义支解、3D 实例支解和 3D 目的检测模子。现在,TF 3D 库已经开源。

GitHub 项目地址:https://github.com/google-research/google-research/tree/master/tf3d

TF 3D 提供了一系列盛行的运算、损失函数、数据处置工具、模子和指标,使得更普遍的研究社区方便地开发、训练和部署 SOTA 3D 场景明白模子。TF 3D 还包罗用于 SOTA 3D 语义支解、3D 目的检测和 3D 实例支解的训练和评估 pipeline,并支持分布式训练。该库还支持 3D 物体形状展望、点云配准和点云加密等潜在应用。

此外,TF 3D 提供了用于训练和评估尺度 3D 场景明白数据集的统一数据集计划和设置,现在支持 Waymo Open、ScanNet 和 Rio 三个数据集。不外,用户可以自由地将 NuScenes 和 Kitti 等其他盛行数据集转化为类似花样,并在预先存在或自定义建立的 pipeline 中使用它们。最后,用户可以将 TF 3D 用于多种 3D 深度学习研究和应用,好比快速原型设计以及实验新思路来部署实时推理系统。

下图(左)为 TF 3D 库中 3D 目的检测模子在 Waymo Open 数据集帧上的输出示例;下图(右)为 TF 3D 库中 3D 实例支解模子在 ScanNet 数据集场景上的输出示例。

3D 希罕卷积 ***

谷歌详细先容了 TF 3D 库中提供的高效和可设置希罕卷积主干 *** ,该 *** 是在种种 3D 场景明白义务上取得 SOTA 效果的要害。

在 TF 3D 库中,谷歌使用子流形希罕卷积和池化操作,这两者被设计用于更高效地处置 3D 希罕数据。希罕卷积模子是大多数户外自动驾驶(如 Waymo 和 NuScenes)和室内基准(如 ScanNet)中使用的 SOTA 方式的焦点。

谷歌还使用种种 CUDA 手艺来加速盘算(如哈希算法、共享内存中支解 / 缓存滤波器以及位操作)。在 Waymo Open 数据集上的实验解释,这种实现的速率约是行使预先存在 TensorFlow 操作的实现的 20 倍。

,

Usdt第三方支付接口

菜宝钱包(www.caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

,

TF 3D 库中使用 3D 子流形希罕 U-Net 架构来提取每个体素(voxel)的特征。通过令 *** 提取希罕和细微特征并连系它们以做出展望,U-Net 架构已被证实异常有用。在结构上,U-Net *** 包罗三个模块:编码器、瓶颈层和解码器,它们均是由大量具有潜在池化或非池化操作的希罕卷积块组成的。

下图为 3D 希罕体素 U-Net 架构:

希罕卷积 *** 是 TF 3D 中所提供 3D 场景明白 pipeline 的主干。而且,3D 语义支解、3D 实例支解和 3D 目的检测模子使用希罕卷积 *** 来提取希罕体素的特征,然后添加一个或多个分外的展望头(head)来推理感兴趣的义务。用户可以通过改变编码器或解码器层数和每个层的卷积数,以及调整卷积滤波器巨细来设置 U-Net *** ,从而探索差别主干 *** 设置下种种速率或准确率的权衡。

TF 3D 支持的三个 pipeline

现在,TF 3D 支持三个 pipeline,分别是 3D 语义支解、3D 实例支解和 3D 目的检测。

3D 语义支解

3D 语义支解模子仅有一个用于展望每体素(per-voxel )语义分数的输出头,这些语义被映射回点以展望每点的语义标签。

下图为 ScanNet 数据集中室内场景的 3D 语义支解效果:

3D 实例支解

除了展望语义之外,3D 实例支解的另一目的是将属于统一物体的体素集中分组在一起。TF 3D 中使用的 3D 实例支解算法基于谷歌之前基于深度器量学习的 2D 图像支解。模子展望每体素的实例嵌入向量和每体素的语义分数。实例嵌入向量将这些体素嵌入至一个嵌入空间,在此空间中,属于统一物体实例的体素慎密靠拢,而属于差别物体的体素相互远离。在这种情况下,输入的是点云而不是图像,而且使用了 3D 希罕 *** 而不是 2D 图像 *** 。在推理时,贪心算法每次选择一个实例种子,并行使体素嵌入之间的距离将它们分组为片断。

3D 目的检测

3D 目的检测模子展望每体素巨细、中央、旋转矩阵和目的语义分数。在推理时使用 box proposal 机制,将成千上万个每体素 box 展望缩减为数个准确的 box 建议;在训练时将 box 展望和分类损失应用于每体素展望。

谷歌在展望和真值 box 角(box corner)之间的距离上应用到了 Huber 损失。由于 Huer 函数凭据 box 巨细、中央和旋转矩阵来估量 box 角而且它是可微的,因此该函数将自动传回这些展望的目的特征。此外,谷歌使用了一个动态的 box 分类损失,它将与真值强烈重叠的 box 分类为正(positive),将与真值不重叠的 box 分类为负(negative)。

下图为 ScanNet 数据集上的 3D 目的检测效果:

网友评论

1条评论
  • 2021-04-21 00:15:39

    欧博官网欢迎进入欧博官网(Allbet Game),欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。有创意