NVIDIA Isaac Sim
NVIDIA Isaac Sim 由 Omniverse 提供动力支持,是一款可扩展的机器人模拟应用和合成数据生成工具,可提供逼真、物理属性准确的虚拟环境,以便开发、测试和管理基于 AI 的机器人。
在 GTC 2022 大会上,我们发布了 NVIDIA Isaac SIM 2022.1,其中包括 Gazebo/Ignition 连接器、Isaac Gym 集成、新的 Isaac 复制器功能和其他相关内容。
注册以便在其上市时获取通知。
借助 Isaac Sim,世界各地的开发者和研究人员能够针对各种任务训练和优化 AI 机器人。在本演示中,我们展示的三个机器人各不相同且令人惊艳,这些机器人在模拟环境中开发并在现实世界得到了验证
Isaac Sim 图表
逼真模拟
Isaac Sim 利用 Omniverse 平台的强大模拟技术,包括使用 PhysX 5 实现支持 GPU 的高级物理模拟、借助实时光线和路径追踪打造逼真效果,以及通过 MDL 材质定义支持实现基于物理属性的渲染。
模组化架构适合各种应用
没有一个模拟器可以解决每个机器人模拟挑战。但 Isaac Sim 旨在解决多数常见的机器人用例,包括操作、导航、生成用于训练数据的合成数据。此外,由于其模组化设计,此工具可以进行自定义并扩展到许多新用例中。
无缝连接和互操作
借助 NVIDIA Omniverse,Isaac Sim 可获益于 Omniverse Nucleus 和 Omniverse Connector,进而在 USD 中协作构建、共享和导入环境和机器人模型。通过 Isaac SDK 和 ROS/ROS2 接口、全功能 Python 脚本编写以及用于导入机器人和环境模型的插件,轻松将机器人大脑连接到虚拟世界。
生成用于训练感知模型的合成数据
训练感知模型需要大量多样的数据集。组装这些数据集可能耗时耗钱又危险,甚至在某些极端情况下无法进行。利用 Isaac Sim 的 Omniverse Replicator,开发者可以启动训练任务。在项目的早期阶段,合成数据可以加速概念验证或验证 ML 工作流。在开发周期的后期阶段,可以使用合成数据来增强真实数据,从而缩短训练产品模型的时间。Isaac Sim 内置了对域随机化的支持,允许更改纹理、颜色、照明和放置。它还支持不同类型的数据,包括边界框、深度和分割。开发者能够以 KITTI 格式输出数据集,从而更轻松地利用 NVIDIA 的 TAO 工具套件。
模拟操作
机器人的主要应用领域之一是机械手,可以识别、拾取和移动物体。在现代工厂或仓库环境中,机械手可以大幅度提高处理和分拣材料的效率和吞吐量。Issac Sim 内置了一些常见任务示例,例如填充和堆积货箱。这些基于 python 的示例可以进行修改,以便处理您的自定义任务。UR10、Frank Emika Panda (Leonardo) 和低成本 DofBot 是 Isaac 支持的机械手机器人,可以快速启动您的项目。
模拟导航
将机器人/素材导入 Isaac Sim
查看 Isaac Sim 的实际应用
教程
单击此处,访问完整的教程播放列表
Isaac Sim:使用 Replicator Composer 生成合成数据
使用 Isaac Sim 的 OnShape 导入器
Isaac Sim 中的数字孪生
Isaac Sim 的新动态
适用于 Isaac Sim 的 Omniverse Replicator
探索真实世界的案例,这些案列使用合成数据来训练和部署基于视觉的生产级 AI 模型。
Isaac Sim/Trimble 合成数据
了解 Trimble 如何通过适用于 Isaac Sim 的合成数据来训练机器人。
NVIDIA/Open Robotics 新闻
NVIDIA 和 Open Robotics 宣布合作,将 NVIDIA 技术引入 ROS 开发者社区。