跳到主要内容

VR App 使用说明

PICO 系统设置​

安全边界设置​

进入系统设置 > 安全防护 > 设置安全边界,点击去设置,然后参考视频内容进行设置。

Wi-Fi 连接​

在 VR 系统里,点击右下角 Wi-Fi 图标,进入网络设置,连接 TeleSuit 主控 的 Wi-Fi。

提示

TeleSuit 主控 Wi-Fi 名称格式通常为 IO_5G_***** 或 IO_2.4G_*****,其中 ***** 为设备序列号,密码为 minnanoIO2023。

VR 网络设置步骤一 VR 网络设置步骤二

无线投屏​

网络要求

无线投屏前,请确保电脑和 VR 头显连接到同一个 Wi-Fi 网络,否则可能无法发现或连接投屏设备。

界面总览​

启动场景​

开机动画及安全须知:进入场景后,系统会显示安全须知,默认勾选“已同意”。在 3 秒倒计时结束后,您可以按右手柄的 A 键同意并进入主操控场景;如果取消勾选“已同意”,按 A 键将退出应用程序。

VR App 启动动画与安全须知界面

主操控场景​

主操控场景总览

面板介绍​

Dock 导航栏​

Dock 导航栏
  • Camera:相机设置面板开关
  • MainControl:主控中心面板开关
  • Settings:系统设置面板开关
  • Platform:平台面板开关
提示

Camera、Settings 和 Platform 三个窗口为互斥窗口,始终共享同一层级,无法同时显示。

主控中心面板​

主控中心面板包含 TeleXperience、Dashboard、Frequency Monitor、Battery Level 四个子面板。

TeleXperience 面板​

用于系统控制。

TeleXperience 面板

错误面板展开:普通状态下点击 ▽ 图标可以展开面板,显示系统错误信息。

错误提示未读提醒:

  • MainControl 面板关闭时,若有错误,将在 Dock 导航栏中 MainControl 图标的右上角显示未读消息条目数。
  • 打开状态面板后将自动清空未读数目。
  • 未读提醒仅在 MainControl 面板关闭状态下有效,不包括面板被隐藏或最小化的情况。
Mocap 设置面板​

点击 Mocap Settings 图标,打开/关闭动捕设置面板。此面板的详细功能说明请查阅 动捕功能。

Mocap 设置面板 - 设备列表
轨迹回放面板​

点击 Play Traj 图标,打开/关闭轨迹回放面板。此面板的详细功能说明请查阅 轨迹回放。

轨迹回放面板
Dashboard 面板​

用于遥操作相关功能状态显示。

Dashboard 面板
  • Sync:显示遥操作同步状态。
  • Record:显示遥操作录制状态。
  • Count:显示系统中已录制的数据条目数。
  • Duration:显示当前录制数据的已录制时长。
Comm.Frequency 面板​

用于监测与 TeleSuit 主控 和 TeleBox 的网络连接状态,和部分消息的输出频率。

Comm.Frequency 面板
  • TeleSuit:显示与 TeleSuit 主控 的连接状态。
  • TeleBox:显示与 TeleBox 的连接状态。
  • 关节状态(Joint State):显示 TeleBox 订阅的工控机端 /io_teleop/joint_states 的输出频率。
  • 视频(Video):显示 VR App 接收到的摄像头数据的通信频率。点击 video_0 可切换为同时显示多路相机的通讯频率。
  • 目标位姿(Target Pose):显示 TeleBox 订阅的 TeleSuit 端 /io_teleop/target_ee_poses 的输出频率。
  • 手部姿态(Hand Gesture):显示 TeleBox 订阅的 TeleSuit 端 /io_fusion/tf 的输出频率(连接惯捕手套时)或 TeleBox 订阅的 TeleSuit 端 /io_fusion/tf_exoskeleton 的输出频率(连接外骨骼手套时)。
  • VR数据(VR Data):显示 VR App 向 TeleSuit 发送 VrData 数据的通信频率。
遥操作启动前检查

启动遥操作前,请确认 TeleSuit 和 TeleBox 的连接状态正常(未显示红色图标),且 Joint State 与 VR Data 的通信频率均不为 0。如果连接状态异常或任一频率为 0,说明相关通信可能尚未建立。建议先检查 VR、机器人/工控机与 TeleSuit 之间的连接,确认通信正常后再启动遥操作。连接配置请参阅通讯连接。

网络断连提醒​
  • 在系统运行期间,将自动监测与 TeleSuit(10.42.0.2)的通讯连接状态。
  • 如果与 TeleSuit 的网络连接中断,系统会弹出网络连接失败面板。该面板会一直显示,直到网络恢复为止。
网络连接失败提示面板
Battery Level 面板​

用于显示系统各个模块的电量信息。

Battery Level 面板(TeleSuit 电池) Battery Level 面板(TeleSuit 直流供电)
  • VR Headset:显示头显电池电量。
  • L-Con:显示左手柄连接状态与剩余电量。
  • R-Con:显示右手柄连接状态与剩余电量。
  • TeleSuit:显示 TeleSuit 电池电量或 TeleSuit 直流供电状态。

机器人面板​

当系统与 TeleBox 通信正常时,机器人面板会自动显示。

机器人面板
机器人模型未显示或显示异常
  • 机器人模型完全不显示:如果 TeleBox 通信正常但仍看不到机器人模型,可能是该机器人型号尚无对应的 VR 可视化模型。如需适配,可咨询销售定制开发服务。
  • 模型显示残缺或白模:检查 URDF 引用的 mesh 文件。mesh 总大小过大可能导致浏览器无法完整渲染;请将所有 mesh 文件的总大小控制在 50 MB 以内。详情请参阅适配要求。

动捕小人面板​

当 Mocap 成功开启时,动捕小人面板会自动显示。

动捕小人面板

相机面板​

相机功能的详细说明请查阅 相机功能。

相机面板

平台面板​

平台面板

系统版本显示​

默认开启。

在场景右上方自动显示如下信息:

  • VR 版本
  • Suit 版本
  • Box 版本

交互方式​

面板唤出和收回​

点击图标唤出面板,再次点击对应图标收回面板。

面板唤出有效区域

面板拖拽​

中指扳机选中面板的有效区域后进行拖拽。

  • 适用范围
面板拖拽有效区域
  • 动作演示
面板拖拽动作演示

面板距离调整​

中指扳机选中面板的有效区域后遥杆前后推动控制面板远近。

  • 适用范围
面板距离调整有效区域
  • 动作演示
面板距离调整动作演示

面板朝向调整​

中指扳机选中面板的有效区域后遥杆左右推动控制面板朝向。

  • 适用范围
面板朝向调整有效区域
  • 动作演示
面板朝向调整动作演示

面板缩放​

将射线移动至面板窗口的四个角时,会出现白色球体锚点。按住中指扳机并拖拽锚点即可进行缩放操作。

相机面板缩放演示
提示

目前仅相机面板支持此操作。

面板重置​

长按对应图标可将当前面板位置/大小重置为默认状态。

  • Dock 导航栏重置:长按手柄 Home 键可将 Dock 导航栏恢复至初始位置。

  • 相机面板重置:长按 Camera 图标。

相机面板重置演示
  • 系统主面板重置:长按 MainControl 图标。
系统主面板重置演示
  • 机器人面板重置:长按 机器人面板中的🔄图标。
机器人面板重置演示
  • 动捕小人面板重置:长按 动捕小人面板中的🔄图标。
动捕小人面板重置演示

主控中心子面板状态切换​

  • 普通状态:正常显示的状态,子面板内容正常展示。
  • 关闭状态:点击 MainControl 图标后,子面板关闭并不再显示的状态。
  • 跟随手部状态:子面板仅在抬手时可见,随着手部动作出现或消失。
  • 隐藏状态(跟随手部状态下):在跟随手部状态时,点击 Menu 按钮后,子面板被隐藏且不再显示的状态。

子面板状态切换方式:点击 ◁ 按钮可以让子面板在普通状态和跟随手部状态之间切换。

手部菜单​

触发方式:

  • 抬起左手,让视野中的手指扳机正对面部,左下角会出现蓝色按钮,作为手部菜单的开关。
  • 若首次进入 App,默认为隐藏状态(跟随手部状态下),先点击 Menu 按钮,进入跟随手部状态。
  • 保持手柄与视线夹角在 30° 到 45° 之间,手部状态下的面板即会出现。
手部菜单触发位置 手部菜单触发角度演示

组件布局功能​

  • 在系统设置面板中,点击 Layout,点击 Add New 可将当前面板位置保存为布局,最多可保存 5 个布局。
  • 可通过下拉列表选择已保存的布局模板,点击 Delete 可移除当前模板,点击 Apply 即可应用选中的布局。
  • 点击 Reset 按钮,可一键还原所有组件布局为默认状态。
提示

若当前模板中的相机数量与实际相机数量不一致,不会执行布局应用操作,用户需选择数量匹配的模板。

通透模式​

  • 开启后,系统将停止渲染虚拟内容,只显示真实世界的相机画面。
  • 快速启动/退出:同时按下左右摇杆按钮即可启动通透模式,再次按下即可退出。
通透模式快速启动演示

沉浸模式​

开启后,相机面板可随头部运动自动跟随。 可设置沉浸模式下是否显示机器人和动捕小人。

沉浸模式设置

动捕功能​

查看动捕设备列表​

点击 Mocap Settings 按钮打开动捕设置面板,点击左侧 Device List 按钮,右侧列表将显示当前已连接的可用设备。

Mocap 设置面板 - 设备列表

动捕标定​

注意

本功能仅在动捕开启时可用。

在动捕设置面板内,可进行下述标定操作:

  • 点击 Pose Calib 按钮,可选择进行 姿态标定 或 快速姿态标定。
  • 点击 VR Calib 按钮,可选择进行 VR动捕联合标定 - VRHead 或 VR动捕联合标定 - VRController。
  • 点击 Params Calib 按钮,可选择进行 在线磁场标定。

动捕标定辅助动画默认开启。勾选 Guided Animation 后系统将在标定各阶段播放对应的动画,作为辅助提示。具体的动作细节请参照各标定流程的教学视频。

姿态标定​

请参考以下视频学习标定流程和动作要点。

点击 BODYCalib 按钮,系统根据选择的组合自动开始标定流程。

快速姿态标定​

用于需要快速进行姿态标定的场景。相比已有的姿态标定功能速度更快,但精度略有降低,您可根据实际情况选择是否使用。

请根据界面显示的标定指引和语音提示进行操作。

VR 动捕联合标定 - VRHead​

参考以下视频学习标定流程和动作要点。

点击 CalibVRHeader 按钮,系统自动开始标定流程。

VR 动捕联合标定 - VRController​

参考以下视频学习标定流程和动作要点。

点击 CalibVRController 按钮,系统自动开始标定流程。

在线磁场标定​

用于将动捕服穿戴在身上进行快速的磁力计标定。请根据界面显示的标定指引和语音提示进行操作。

外骨骼手套可视化​

在外骨骼手套启用和已经开启动捕的情况下,使用手柄食指扳机双击动捕小人上半身,可打开或关闭外骨骼手套可视化功能。

提示

在外骨骼手套可视化功能开启时,关闭动捕会同时关闭可视化。下次使用需再次双击动捕小人上半身,开启外骨骼手套可视化功能。

外骨骼手套可视化效果 外骨骼手套可视化控制面板

末端位置映射比例调节​

默认关闭。 该功能允许通过调节末端位置映射的比例系数,调整机器人在跟随操作者手部运动时的线速度。系统当前提供一种模式:Custom,可在系统设置面板中开启。

  • Custom 模式:比例系数(scale)为用户自定义的固定数值。输入期望的系数后,点击 Apply 按钮即可生效。
  • 在开始遥操作前,需预先设定比例系数:
    • 当系数 > 1 时,机器人运动速度大于手部运动。
    • 当系数 < 1 时,机器人运动速度小于手部运动。
末端位置映射比例调节设置

相机功能​

根据 TeleBox 的 Dashboard 中的相机配置,相机设置面板会显示对应数量的相机窗口。每个窗口底部带有单选框,勾选后即可显示出对应的相机面板。

相机窗口选择演示

如果您配置了双目相机,可以双击任务栏的相机图标,打开双目相机画面。再次双击相机图标即可关闭。

您也可以在设置中打开或关闭双目相机模式。

双目相机模式开关设置

轨迹回放​

点击 Play Traj 按钮,打开回放面板,再次点击可关闭面板,面板如下图所示:

轨迹回放面板
  • 选择数据包:系统将默认选中最新的数据包,您也可以通过下拉菜单自行选择需要回放的数据包。
  • 开始回放:点击 Start 开始回放。
  • 停止回放:回放过程中 Start 按钮将变为 Stop,点击此按钮即可停止回放。如果此时您直接点击 Play Traj 按钮退出面板,系统将弹窗提示您确认停止回放并退出。
  • 状态显示与同步:通常情况下,VR App 将自动同步轨迹回放状态,并在面板下方显示绿色指示灯和状态同步成功的提示语,您无需进行手动同步。如果您发现面板下方显示红色指示灯和状态同步失败的提示语,可以通过手动点击🔄按钮同步状态。

安全功能​

手柄异常位姿过滤​

默认开启。

为提升系统安全性,该功能可对 VR 手柄位姿识别结果中的异常大幅度跳变进行滤除。 用户可根据机器人的实际运动性能选择是否启用该功能,并设置过滤的阈值参数,以适应不同场景需求。 输入期望的阈值参数后,点击 Apply 按钮即可生效。

手柄异常位姿过滤设置

手柄震动反馈​

当接收到震动数据时,手柄会产生震动。传入的数据主要用于控制震动的幅度,具体参数如下:

  • 震动幅度:收到的数据值乘以 0.8 作为实际震动幅度。
  • 震动持续时间:500 毫秒。
  • 震动频率:100 Hz。

疲劳检测​

当系统运行时间达到指定阈值(20 分钟、40 分钟或 60 分钟)时,系统会自动弹出疲劳检测面板,以提醒用户进行状态检查并适当休息。

疲劳检测提示面板

低电量检测​

默认开启。

  • 在程序运行期间,若 VR 或 TeleSuit 电量低于 20%,系统会触发一次低电量提示。
  • 若两者中任一设备的电量低于 5%,启动同步后系统会自动关闭同步功能。
  • 若需关闭该功能,可在系统设置面板中 PoseCalib 页中取消勾选 Low Power Warning 选项。
低电量警告面板

其他​

Config 切换监测​

当检测到重新应用配置 (Config) 操作后,系统将执行以下步骤:

  1. 重新拉取配置文件。
  2. 重启 WebSocket 通讯。
  3. 重新加载机器人模型和相机面板。

语言切换​

系统目前支持中文和英文两种语言。默认语言为英文,用户可在系统设置面板的 Language 页中切换语言。