name: 目标检测/分割技能 description: 基于深度学习的目标检测与分割,用于机器人应用 slug: object-detection category: 感知 allowed-tools:
- Bash
- Read
- Write
- Edit
- Glob
- Grep
目标检测/分割技能
概述
专家技能,用于在机器人应用中部署和优化用于目标检测、实例分割和3D目标检测的深度学习模型。
能力
- 配置YOLO(v5, v8)进行实时检测
- 设置Detectron2进行实例分割
- 实现语义分割模型
- 为Jetson配置TensorRT优化
- 设置ONNX运行时部署
- 实现3D目标检测(PointPillars, VoxelNet)
- 配置基于深度的目标检测
- 使用image_pipeline设置ROS视觉管道
- 实现目标跟踪(SORT, DeepSORT, ByteTrack)
- 配置多摄像头检测融合
目标流程
- object-detection-pipeline.js
- synthetic-data-pipeline.js
- nn-model-optimization.js
- moveit-manipulation-planning.js
依赖项
- YOLO(Ultralytics)
- Detectron2
- TensorRT
- ONNX Runtime
- vision_msgs
使用场景
当流程需要为目标检测模型部署、实例分割、3D检测或多目标跟踪进行机器人感知时,会调用此技能。
输出产物
- 检测模型配置
- TensorRT优化模型
- ROS检测节点实现
- 跟踪管道配置
- 多摄像头融合设置
- 推理优化脚本