跳到主要内容

VR APP使用说明

PICO系统设置​

安全边界设置​

进入系统设置-安全防护-设置安全边界，点击去设置，然后参考视频内容进行设置。

Wi-Fi连接​

在VR系统里，点击右下角Wi-Fi图标，进入网络设置，连接TeleSuit对应的Wi-Fi

无线投屏​

开发者模式​

进入设置界面 > 关于本机，连续点击 软件版本号（约 20 次），直到出现开发者选项提示。

性能模式开启​

进入开发者选项 > 性能调试工具，同意风险告知，选择TeleXperience，按以下设置优化画质：

  • 将刷新率调整为90Hz。
  • 分辨率设置为1.5倍或2倍。
  • 调整CPU/GPU以及固定注视点渲染等级为高。

此配置可大幅提升画质，但会增加设备功耗。

注意： 若应用重装需重新进行设置；企业版 PICO 需升级至系统版本 5.11.3.U 或更高才支持。

界面总览​

启动场景​

开机动画及安全须知：进入场景后，系统会显示安全须知，默认勾选“已同意”。在 3 秒倒计时结束后，您可以按右手柄的 A 键同意并进入主操控场景；如果取消勾选“已同意”，按 A 键将退出应用程序。

主操控场景​

main_view

面板介绍​

docker导航栏​

docker导航栏

  • Camera：相机设置面板开关
  • MainControl：系统主面板开关
  • Setting: 系统设置面板开关
  • Platform: 遥操作平台面板开关

注意： Camera、Setting和Platform三个窗口为互斥窗口，始终共享同一层级，无法同时显示。

主控中心面板​

主控中心面板包含TeleXperience, Dashboard, Comm.Frequency, Battery Level四个子面板

TeleXperience面板​

用于系统控制。

TeleXperience

错误面板展开：普通状态下点击▽图标可以展开面板，显示系统错误信息。

TeleXperience_ex

Dashboard面板​

用于遥操作相关功能状态显示。

dashboard

Comm.Frequency面板​

用于与TeleSuit和TeleBox的网络连接检测，并显示检测到的各消息的通信频率。

TeleXperience

Battery Level面板​

用于显示系统各个模块的电量信息。

battery_level

子面板状态说明：

  • 普通状态：正常显示的状态，子面板内容正常展示。
  • 关闭状态：点击MainControl图标后，子面板关闭并不再显示的状态。
  • 跟随手部状态：子面板仅在抬手时可见，随着手部动作出现或消失。
  • 隐藏状态（跟随手部状态下）：在跟随手部状态时，点击menu按钮后，子面板被隐藏且不再显示的状态。

子面板状态切换按钮：点击◁按钮可以让子面板在普通状态和跟随手部状态之间切换。

手部菜单​
触发方式​
  • 抬起左手，让视野中的手指扳机正对面部，左下角会出现蓝色按钮，作为手部菜单的开关。
  • 若首次进入app，默认为隐藏状态（跟随手部状态下），先点击Menu按钮，进入跟随手部状态。
  • 保持手柄与视线夹角在30°到45°之间，手部状态下的面板即会出现。
mocap设置面板​

点击mocap setting图标，打开/关闭动捕设置面板。

mocap_setting mocap_setting mocap_setting

轨迹回放面板​

点击play traj图标，打开/关闭轨迹回放面板。

play_traj

机器人面板​

当系统与TeleBox通信正常时，机器人面板会自动显示。

robot

动捕小人面板​

当Mocap成功开启时，动捕小人面板会自动显示。

相机面板​

camera_view

平台面板​

platform

交互方式​

面板唤出和收回​

点击图标唤出面板，再次点击对应图标收回面板。

main_view

面板拖拽​

中指扳机选中面板的有效区域后进行拖拽。

  • 适用范围

main_view

  • 动作演示

main_view

面板距离调整​

中指扳机选中面板的有效区域后遥杆前后推动控制面板远近。

  • 适用范围

main_view

  • 动作演示

main_view

面板朝向调整​

中指扳机选中面板的有效区域后遥杆左右推动控制面板朝向。

  • 适用范围

main_view

  • 动作演示

main_view

面板重置​

长按对应图标可将当前面板位置和大小重置为默认状态。

  • 相机面板重置：长按 Camera图标

main_view

  • 系统主面板重置：长按 MainControl图标。

main_view

  • 机器人面板重置：长按 机器人面板中的🔄图标。

main_view

  • 动捕小人面板重置：长按 动捕小人面板中的🔄图标。

main_view

面板缩放​

将射线移动至面板窗口的四个角时，会出现白色球体锚点。按住中指扳机并拖拽锚点即可进行缩放操作。

注意：目前仅相机面板支持此操作。

main_view

动捕功能​

动捕设备选择​

点击 mocap setting 按钮打开动捕设置面板，点击左侧Device List按钮，右侧列表将显示当前可用的设备。

mocap_setting

  • 注意：本功能仅在动捕未开启时可用。如果动捕已启动，将无法进行设备选择操作。

  • 您可以在支持的设备组合范围内自由勾选。如果选择的设备组合非法，系统将自动回退到最后一次正确配置。

  • 支持的设备组合如下：

    • UPPER_BODY
    • UPPER_BODY + LOWER_BODY
    • UPPER_BODY + LOWER_BODY + GLOVE
    • UPPER_BODY + LOWER_BODY + EXOSKELETON_GLOVE
    • UPPER_BODY + GLOVE
    • UPPER_BODY + EXOSKELETON_GLOVE
    • GLOVE
    • EXOSKELETON_GLOVE
    • EXOSKELETON_GLOVE + WIRELESS_MODULE

动捕标定​

在动捕设置面板内，点击左侧Pose Calib 或VR Calib 按钮。

mocap_setting mocap_setting

  • 注意：本功能仅在动捕开启时可用。

动捕姿态标定​

参考以下视频学习标定流程和动作要点。

点击BODYCalib按钮，系统根据选择的组合自动开始标定流程。

VR动捕联合标定-VRHead​

参考以下视频学习标定流程和动作要点。

点击CalibVRHeader按钮，系统自动开始标定流程。

VR动捕联合标定-VRController​

参考以下视频学习标定流程和动作要点。

点击CalibVRController按钮，系统自动开始标定流程。

动捕标定辅助动画​

  • 默认开启。勾选Guided Animation后系统将在标定各阶段播放对应的动画，作为辅助提示。具体的动作细节请参照各标定流程的教学视频。

外骨骼手套可视化​

在外骨骼手套启用和已经开启动捕的情况下，使用手柄食指扳机双击动捕小人上半身，可打开或关闭外骨骼手套可视化功能。

  • 注意：在外骨骼手套可视化功能开启时，关闭动捕会同时关闭可视化。下次使用需再次双击动捕小人上半身，开启外骨骼手套可视化功能。

gloves_visualization

gloves_visualization_control

控制功能​

末端位置映射比例调节​

默认关闭。 该功能允许通过调节末端位置映射的比例系数，调整机器人在跟随操作者手部运动时的线速度。系统当前提供一种模式：Custom，可在系统设置面板中开启。

  • Custom 模式：比例系数（scale）为用户自定义的固定数值。输入期望的系数后，点击Apply按钮即可生效。
  • 在开始遥操作前，需预先设定比例系数：
    • 当系数 > 1 时，机器人运动速度大于手部运动。
    • 当系数 < 1 时，机器人运动速度小于手部运动。

system_setting_2

相机功能​

根据TeleBox的Dashboard中的相机配置，相机设置面板会显示对应数量的相机窗口。每个窗口底部带有单选框，勾选后即可显示出对应的相机面板。

main_view

组件布局功能​

  • 在系统设置面板中，点击Layout，点击Add New可将当前面板位置保存为布局，最多可保存 5 个布局。
  • 可通过下拉列表选择已保存的布局模板，点击Delete可移除当前模板，点击Apply即可应用选中的布局。
  • 点击Reset按钮，可一键还原所有组件布局为默认状态。

注意：若当前模板中的相机数量与实际相机数量不一致，不会执行布局应用操作，用户需选择数量匹配的模板。

状态监控功能​

电池电量监控​

  • VR Headset: 显示头显电池电量。
  • L-Con: 显示左手柄连接状态与剩余电量。
  • R-Con: 显示右手柄连接状态与剩余电量。
  • TeleSuit: 显示TeleSuit电池电量或TeleSuit直流供电状态。

通信监控​

TeleXperience

  • TeleSuit: 显示与TeleSuit的连接情况。
  • TeleBox: 显示与TeleBox的连接情况。
  • JointState: 接收到的机器人状态信息的通信频率。
  • Video_0: 接收到的摄像头数据的通信频率。
  • Mocap: 接收到的Mocap数据的通信频率。
  • VrData: 发送的VrData数据的通信频率。

注意：点击video_0可切换为同时显示多路相机的通讯频率。

功能状态显示​

dashboard

  • Sync: 显示遥操作同步状态。
  • Record: 显示遥操作录制状态。
  • Count: 显示系统中已录制的数据条目数。
  • Duration: 显示当前录制数据的已录制时长。

网络断连提醒​

  • 在系统运行期间，将自动监测与 TeleSuit（10.42.0.2）的通讯连接状态
  • 如果与Suit的网络连接中断，系统会弹出网络连接失败面板。该面板会一直显示，直到网络恢复为止。

network_warning

数据回放​

点击Play Traj按钮，打开回放面板，通过下拉菜单选择需要回放的数据包，点击Confirm开始回放，再次点击Play Traj按钮即可退出。

play_traj

通透模式​

  • 开启后，系统将停止渲染虚拟内容，只显示真实世界的相机画面。
  • 快速启动/退出：同时按下左右摇杆按钮即可启动通透模式，再次按下即可退出。

transparency_mode_switch

安全功能​

手柄异常位姿过滤​

默认开启。

为提升系统安全性，该功能可对 VR 手柄位姿识别结果中的异常大幅度跳变进行滤除。
用户可根据机器人的实际运动性能选择是否启用该功能，并设置过滤的阈值参数，以适应不同场景需求。 输入期望的阈值参数后，点击Apply按钮即可生效。

system_setting_3

手柄震动反馈​

当接收到震动数据时，手柄会产生震动。传入的数据主要用于控制震动的幅度，具体参数如下：

  • 震动幅度：收到的数据值乘以 0.8 作为实际震动幅度
  • 震动持续时间：500 毫秒
  • 震动频率：100 Hz

疲劳检测​

当系统运行时间达到指定阈值（20 分钟、40 分钟或 60 分钟）时，系统会自动弹出疲劳检测面板，以提醒用户进行状态检查并适当休息。

tired_warnning

低电量检测​

默认开启。

  • 在程序运行期间，若VR或TeleSuit电量低于20%，系统会触发一次低电量提示。
  • 若两者中任一设备的电量低于5%，启动同步后会系统自动关闭同步功能。
  • 若需关闭该功能，可在系统设置面板中PoseCalib页中取消勾选Low Power Warning选项。

low_power_warnning

其它​

沉浸模式​

开启后，相机面板可随头部运动自动跟随。 可设置沉浸模式下是否显示机器人和动捕小人。

immersive_mode

系统版本显示​

默认开启。

在场景右上方自动显示如下信息：

  • vr版本
  • suit版本
  • box版本

错误提示未读提醒​

  • MainControl面板关闭时，若有错误，将在 docker栏中MainControl 图标的右上角显示未读消息条目数
  • 打开状态面板后将自动清空未读数目

注意: 未读提醒仅在面板关闭状态下有效，不包括面板被隐藏或最小化的情况。

Config 切换监测​

当检测到重新应用配置 (Config) 操作后，系统将执行以下步骤：

  1. 重新拉取配置文件。
  2. 重启 WebSocket 通讯。
  3. 重新加载机器人模型和相机面板。

语言切换​

系统目前支持中文和英文两种语言。默认语言为英文，用户可在系统设置面板的Language页中切换语言。