跳到主要内容

云存储

云存储连接是平台读取与写入对象数据的存放位置,用于数据上传、云端导入、导出产物落桶与数据采集回传。连接分为全局连接与项目级连接,浏览器直传依赖存储桶的跨域规则。

云存储配置(创建/列表)

使用前提​

项内容
菜单入口管理 → 云存储
路由/clouds
角色云存储页面为管理员角色;项目级连接项目经理亦可创建
权限「查看云存储」、「管理云存储」
依赖已创建存储桶;具备访问密钥;浏览器直传需存储桶配置跨域规则

连接配置​

存储类型​

新建连接时可从 8 种对象存储中选择。MinIO 已停止新增,既有连接继续可用但不可再创建。

类型服务商
腾讯云 COS腾讯云对象存储
阿里云 OSS阿里云对象存储
华为云 OBS华为云对象存储
火山引擎 TOS火山引擎对象存储
Amazon S3亚马逊云对象存储
Azure Blob Storage微软云对象存储
Cloudflare R2Cloudflare 对象存储
自建云存储 MinIO自建对象存储(已停止新增,仅既有连接可用)
RustFS 对象存储自建对象存储

连接范围​

连接的可见范围由「是否开放」与「项目」两个字段共同决定。

范围字段取值可见对象可创建的角色
全局连接是否开放 = 是所有项目管理员
项目级连接是否开放 = 否,并选择项目仅所选项目管理员、项目经理

云存储页面要求管理员角色;项目经理的项目级连接能力见权限说明。

连接字段​

字段类型必填说明
云存储名称文本否小写字母开头,仅含小写字母与数字;留空自动生成
存储区域文本否存储桶所在区域
是否开放枚举是所有用户均可上传 / 仅系统或管理员可上传
只读模式枚举是只读(禁止写入与删除)/ 可读写
云厂商枚举是上表 8 种可新建类型之一;既有 MinIO 连接仍可编辑
访问配置文本按厂商密钥、区域、存储桶、端点等字段,随类型不同
项目多选否关联项目,平台按项目控制连接的可见范围

访问配置字段​

各类型在访问配置区需要填写的字段,随云厂商不同。

类型必填字段可选字段
腾讯云 COS密钥 ID、密钥 Key、区域、存储桶无
阿里云 OSS密钥 ID、密钥 Key、区域、存储桶端点、内网端点
华为云 OBS密钥 ID、密钥 Key、区域、存储桶端点
火山引擎 TOS密钥 ID、密钥 Key、区域、存储桶端点、内网端点
Amazon S3密钥 ID、密钥 Key、区域、存储桶加速端点
Azure Blob Storage存储端点、存储桶、访问密钥、秘密密钥无
Cloudflare R2存储端点、存储桶、访问密钥 ID、访问密钥 Key无
自建云存储 MinIO主机地址、端口、存储桶、访问密钥 ID、访问密钥 Key访问协议、对外 HTTPS 代理地址、内网端点
RustFS 对象存储主机地址、端口、存储桶、访问密钥 ID、访问密钥 Key访问协议

连接管理​

列表字段​

字段说明
云存储名连接名称,点击进入对象浏览
云服务商云存储类型标签
存储桶从访问配置中提取的存储桶名
区域从访问配置或区域字段提取
操作编辑、删除

对象浏览​

在连接详情中打开对象浏览,按前缀查看存储桶内的对象。点击连接行或对象浏览入口进入。

前缀含义
全部不限制前缀
系统导入dataset/
用户上传users/
导出时间对齐aligns/
导出丢帧检测framedrops/
导出 MCap 切块splits/
列表字段说明
数据名对象键,点击下载
上传时间对象最后修改时间
文件大小对象大小
导入数据已入库显示入口链接;未入库且扩展名受支持时可导入
文件操作删除远端对象
操作作用约束
导入将对象导入为平台数据集仅 .mcap、.bag、.db3
删除删除远端对象只读模式下禁止
批量下载下载所选对象单次最多 10 个
批量删除删除所选对象只读模式下禁止
导出下载链接导出当前前缀下对象的下载链接清单只读

约束与限制​

项取值说明
名称唯一同名连接不可重复创建保存时校验
名称格式小写字母开头,仅含小写字母与数字格式错误拒绝保存
只读模式从底层禁止写入与删除适用于第三方数据源
非管理员可见范围仅 ispublic=true 的连接私有连接仅管理员可见
批量下载单次最多 10 个对象超出部分不下载
导入格式.mcap、.bag、.db3其他扩展名不提供导入入口
删除连接管理员操作,删除后不可恢复关联项目一并解除
浏览器直传需存储桶允许平台来源的跨域请求未配置时上传失败

失败处理​

现象可能原因处置责任方
测试连接失败密钥、区域、端点或存储桶错误;网络不可达核对各厂商必填字段;确认网络连通管理员、平台运维
提示连接成功但跨域不完整存储桶未配置跨域规则按提示添加允许来源、方法、请求头与响应头管理员、平台运维
云存储列表为空当前账号非管理员,且无公开连接由管理员创建连接或将其设为对所有用户开放管理员
上传对象失败只读模式、跨域未配置或存储权限不足检查只读开关与存储桶写权限管理员
导入入口不显示对象扩展名不在受支持范围仅 .mcap、.bag、.db3 可导入管理员
删除对象失败只读模式禁止写入与删除关闭只读模式后重试管理员

相关页面​

页面用途
数据上传上传数据到已配置的连接
数据导出导出产物落桶
数据管理查看已入库数据集
运维监控查看导出与导入任务队列
系统设置存储相关系统参数