Форматы данных
Платформа IO Data предназначена для универсального управления данными роботов, используя Robot Operating System (ROS) в качестве стандарта для единого управления данными роботов.
- Импорт данных: Поддерживает автоматическое преобразование нестандартных данных ROS из систем сбора данных, таких как Zhiyuan, Songling и других, в стандартный формат ROS для единого управления.
- Визуализация данных: Встроенные модели визуализации для 30+ основных роботов, обеспечивающие плавное воспроизведение 3D-анимаций и плоских изображений во всех форматах.
- Экспорт данных: Поддерживает экспорт стандартных форматов данных HDF5/LeRobot одним кликом, с адаптивными суставами и изображениями на основе исходных данных, готовыми для прямого обучения моделей.
Содержание
Формат данных человека
Сбор данных человека в основном используется для записи действий оператора и процессов взаимодействия, содержащих мультимодальные данные датчиков.
Структура файлов
Каждая задача сбора генерирует папку с именем по временной метке:
f"{date}_{project}_{scene}_{task}_{staff_id}_{timestamp}"
├── align_result.csv # Таблица выравнивания временных меток
├── annotation.json # Данные аннотации
├── config/ # Конфигурация камеры и датчиков
│ ├── calib_data.yml
│ ├── depth_to_rgb.yml
│ ├── mocap_main.yml
│ ├── orbbec_depth.yml
│ ├── orbbec_rgb.yml
│ └── pose_calib.yml
└── data.mcap # Пакет мультимодальных данных
Мультимодальные данные
Файл data.mcap
содержит синхронизированные данные всех датчиков, хранящиеся в формате MCAP.
Основной список топиков:
Имя топика | Тип данных | Описание |
---|---|---|
/mocap/sensor_data | io_msgs/squashed_mocap_data | Данные захвата движения: скорость, ускорение, угловая скорость, угол поворота суставов и данные датчиков |
/mocap/ros_tf | tf2_msgs/TFMessage | TF-преобразования всех суставов на основе захвата движения |
/joint_states | sensor_msgs/JointState | JointState всех суставов на основе захвата движения |
/rgbd/color/image_raw/compressed | sensor_msgs/CompressedImage | RGB-изображение с основной головной камеры |
/rgbd/depth/image_raw | sensor_msgs/Image | Изображение глубины с основной головной камеры |
/colorized_depth | sensor_msgs/CompressedImage | Цветное изображение глубины с основной головной камеры |
/left_ee_pose | geometry_msgs/PoseStamped | Поза левого захвата в системе координат основной головной камеры |
/right_ee_pose | geometry_msgs/PoseStamped | Поза правого захвата в системе координат основной головной камеры |
/claws_l_hand | io_msgs/claws_angle | Степень закрытия левого захвата |
/claws_r_hand | io_msgs/claws_angle | Степень закрытия правого захвата |
/claws_touch_data | io_msgs/squashed_touch | Тактильные данные захвата |
/realsense_left_hand/color/image_raw/compressed | sensor_msgs/CompressedImage | RGB-изображение с левой камеры захвата |
/realsense_left_hand/depth/image_rect_raw | sensor_msgs/Image | Изображение глубины с левой камеры захвата |
/realsense_right_hand/color/image_raw/compressed | sensor_msgs/CompressedImage | RGB-изображение с правой камеры захвата |
/realsense_right_hand/depth/image_rect_raw | sensor_msgs/Image | Изображение глубины с правой камеры захвата |
/usb_cam_fisheye/mjpeg_raw/compressed | sensor_msgs/CompressedImage | RGB-изображение с основной головной камеры "рыбий глаз" |
/usb_cam_left/mjpeg_raw/compressed | sensor_msgs/CompressedImage | RGB-изображение с левой мон оокулярной камеры основной головы |
/usb_cam_right/mjpeg_raw/compressed | sensor_msgs/CompressedImage | RGB-изображение с правой моноокулярной камеры основной головы |
/ee_visualization | sensor_msgs/CompressedImage | Визуализация позы концевой части в RGB-изображении основной головной камеры |
/touch_visualization | sensor_msgs/CompressedImage | Визуализация тактильных данных захвата |
/robot_description | std_msgs/String | URDF захвата движения |
/global_localization | geometry_msgs/PoseStamped | Поза основной головной камеры в мировой системе координат |
/world_left_ee_pose | geometry_msgs/PoseStamped | Поза левого захвата в мировой системе координат |
/world_right_ee_pose | geometry_msgs/PoseStamped | Поза правого захвата в мировой системе координат |
Данные камеры:
- Основная головная RGBD-камера: цветные + изображения глубины
- Левые/правые камеры захвата: RealSense RGBD
- Камера "рыбий глаз": панорамный вид
- Левые/правые моноокулярные камеры: стереозрение
Примечание: При использовании тактильных перчаток будет добавлен дополнительный топик
/mocap/touch_data
.
Нажмите, чтобы просмотреть оригинальный формат данных MCAP
library: mcap go v1.7.0
profile: ros1
messages: 45200
duration: 1m5.625866496s
start: 2025-01-15T18:09:29.628202496+08:00 (1736935769.628202496)
end: 2025-01-15T18:10:35.254068992+08:00 (1736935835.254068992)
compression:
zstd: [764/764 chunks] [6.13 GiB/3.84 GiB (37.39%)] [59.87 MiB/sec]
channels:
(1) /rgbd/color/image_raw/compressed 1970 msgs (30.02 Hz) : sensor_msgs/CompressedImage [ros1msg]
(2) /joint_states 1970 msgs (30.02 Hz) : sensor_msgs/JointState [ros1msg]
(3) /claws_r_hand 1970 msgs (30.02 Hz) : io_msgs/claws_angle [ros1msg]
(4) /global_localization 1970 msgs (30.02 Hz) : geometry_msgs/PoseStamped [ros1msg]
(5) /robot_description 1 msgs : std_msgs/String [ros1msg]
(6) /ee_visualization 1970 msgs (30.02 Hz) : sensor_msgs/CompressedImage [ros1msg]
(7) /rgbd/depth/image_raw 1970 msgs (30.02 Hz) : sensor_msgs/Image [ros1msg]
(8) /colorized_depth 1970 msgs (30.02 Hz) : sensor_msgs/CompressedImage [ros1msg]
(9) /claws_l_hand 1970 msgs (30.02 Hz) : io_msgs/claws_angle [ros1msg]
(10) /claws_touch_data 1970 msgs (30.02 Hz) : io_msgs/squashed_touch [ros1msg]
(11) /touch_visualization 1970 msgs (30.02 Hz) : sensor_msgs/CompressedImage [ros1msg]
(12) /mocap/sensor_data 1970 msgs (30.02 Hz) : io_msgs/squashed_mocap_data [ros1msg]
(13) /mocap/ros_tf 1970 msgs (30.02 Hz) : tf2_msgs/TFMessage [ros1msg]
(14) /left_ee_pose 1970 msgs (30.02 Hz) : geometry_msgs/PoseStamped [ros1msg]
(15) /right_ee_pose 1970 msgs (30.02 Hz) : geometry_msgs/PoseStamped [ros1msg]
(16) /usb_cam_left/mjpeg_raw/compressed 1960 msgs (29.87 Hz) : sensor_msgs/CompressedImage [ros1msg]
(17) /usb_cam_right/mjpeg_raw/compressed 1946 msgs (29.65 Hz) : sensor_msgs/CompressedImage [ros1msg]
(18) /usb_cam_fisheye/mjpeg_raw/compressed 1957 msgs (29.82 Hz) : sensor_msgs/CompressedImage [ros1msg]
(19) /realsense_left_hand/depth/image_rect_raw 1961 msgs (29.88 Hz) : sensor_msgs/Image [ros1msg]
(20) /realsense_left_hand/color/image_raw/compressed 1961 msgs (29.88 Hz) : sensor_msgs/CompressedImage [ros1msg]
(21) /realsense_right_hand/depth/image_rect_raw 1947 msgs (29.67 Hz) : sensor_msgs/Image [ros1msg]
(22) /realsense_right_hand/color/image_raw/compressed 1947 msgs (29.67 Hz) : sensor_msgs/CompressedImage [ros1msg]
(23) /world_left_ee_pose 1970 msgs (30.02 Hz) : geometry_msgs/PoseStamped [ros1msg]
(24) /world_right_ee_pose 1970 msgs (30.02 Hz) : geometry_msgs/PoseStamped [ros1msg]
channels: 24
attachments: 0
metadata: 0