Habitat-Sim 语义ID教程：理解与操作3D场景中的语义标注

最新推荐文章于 2025-07-22 22:55:33 发布

原创最新推荐文章于 2025-07-22 22:55:33 发布 · 419 阅读

CC 4.0 BY-SA版权

Habitat-Sim 语义ID教程：理解与操作3D场景中的语义标注

概述

本教程将深入探讨如何使用Habitat-Sim仿真平台中的语义ID功能。Habitat-Sim是一个强大的3D仿真平台，专门为机器人导航和交互任务设计。语义ID是该平台中用于标识和区分场景中不同对象的关键功能，对于计算机视觉、机器人感知等应用至关重要。

环境准备

在开始之前，我们需要配置好仿真环境。主要步骤包括：

创建仿真器配置
设置传感器（RGB和语义相机）
初始化代理（agent）位置

def make_configuration(scene_file):
    # 基础仿真配置
    backend_cfg = habitat_sim.SimulatorConfiguration()
    backend_cfg.scene_id = scene_file
    
    # 传感器配置
    camera_resolution = [1080, 960]
    sensor_specs = []
    
    # RGB相机配置
    rgba_camera_spec = habitat_sim.CameraSensorSpec()
    rgba_camera_spec.uuid = "rgba_camera"
    rgba_camera_spec.sensor_type = habitat_sim.SensorType.COLOR
    rgba_camera_spec.resolution = camera_resolution
    sensor_specs.append(rgba_camera_spec)
    
    # 语义相机配置
    semantic_camera_spec = habitat_sim.CameraSensorSpec()
    semantic_camera_spec.uuid = "semantic_camera"
    semantic_camera_spec.sensor_type = habitat_sim.SensorType.SEMANTIC
    semantic_camera_spec.resolution = camera_resolution
    sensor_specs.append(semantic_camera_spec)
    
    # 代理配置
    agent_cfg = habitat_sim.agent.AgentConfiguration()
    agent_cfg.sensor_specifications = sensor_specs
    
    return habitat_sim.Configuration(backend_cfg, [agent_cfg])

语义ID基础操作

1. 加载场景和对象

我们首先加载测试场景，然后向场景中添加对象。在这个例子中，我们添加了两把椅子：

# 加载椅子模板
chair_template_id = obj_templates_mgr.load_configs(
    str(os.path.join(data_path, "test_assets/objects/chair"))
)[0]

# 添加两把椅子到场景中
chairs = []
chairs.append(rigid_obj_mgr.add_object_by_template_id(chair_template_id))
chairs.append(rigid_obj_mgr.add_object_by_template_id(chair_template_id))

2. 设置语义ID

默认情况下，对象的语义ID为0。我们可以为对象设置自定义语义ID：

# 为两把椅子设置相同的语义ID
chairs[0].semantic_id = 2
chairs[1].semantic_id = 2

# 然后为其中一把椅子设置不同的语义ID
chairs[1].semantic_id = 1

3. 创建自定义对象

我们还可以创建自定义对象并设置其默认语义ID：

# 创建盒子对象模板
box_template = habitat_sim.attributes.ObjectAttributes()
box_template.render_asset_handle = "path/to/box.glb"
box_template.scale = np.array([0.2, 0.2, 0.2])
box_template.semantic_id = 10  # 设置默认语义ID

# 注册模板并添加到场景
box_template_id = obj_templates_mgr.register_template(box_template, "box")
box_obj = rigid_obj_mgr.add_object_by_template_id(box_template_id)

4. 精细控制语义ID

对于复杂对象，我们可以为不同的视觉节点设置不同的语义ID：

# 获取盒子的视觉节点
box_visual_nodes = box_obj.visual_scene_nodes

# 为不同节点设置不同语义ID
box_visual_nodes[6].semantic_id = 3
box_visual_nodes[7].semantic_id = 4

可视化与调试

为了验证我们的语义ID设置是否正确，我们可以使用以下函数来可视化RGB和语义图像：

def show_img(data, save):
    fig = plt.figure(figsize=(12, 12))
    ax1 = fig.add_subplot(1, 2, 1)  # RGB图像
    ax1.imshow(data[0])
    ax2 = fig.add_subplot(1, 2, 2)  # 语义图像
    ax2.imshow(data[1])
    plt.show(block=False)
    plt.pause(1)