接收数据格式

该文档描述了星尘接收资源的格式,为了达到更好的标注效果,希望能够提供足够的资源元数据。文档按照不同类型的项目分类描述资源数据格式。

数据格式

  1. 需要将 task.startask.net 添加到 HTTP 头的 access-control-allow-origin 中以防止因跨域引起的资源无法访问。

  2. 需要提供一个 json 文件, json 体是数组,数组中的每个元素为一个 task。

  3. 一个 task 中可以包含多个资源组,一个资源需要包含四个字段:

    • url(required):标志资源的 url 地址。

    • proxy:布尔值,表示是否需要通过代理访问资源;介于对数据保密性的考虑,现支持通过代理访问资源,只需要将星尘的 IP 加入到资源的名单中,并且将该值设为 true 即可。

    • meta:资源相关元数据,用于提高标注数据的准确性。不同类型的资源有不同的元数据定义,见资源元数据定义。

    • iframe:用于理解资源,为自定义 HTML 代码。

图片标注

图片目前支持 JPEGPNGTIFBMP 格式。

单个 task 需要一个资源:

  • image_source(required):固定字段,表示图片资源。元数据定义见图片元数据

{
"image_source": {
"url": "https://example.com/example.jpg",
"meta": {
"width": 1920,
"height": 1080
}
}
}

点云标注(单帧)

点云目前仅支持 pcd 文件

单个 task 至少需要一个资源:

  • 3D_source(required): 固定字段,保存了单帧点云资源。

  • 2D_source: 可变字段,名字自定义。目前点云下的资源只支持图片,支持 0 张或者 N 张。元数据定义见图片元数据(点云)

{
"3D_source": {
"url": "https://example.com/example.pcd",
"meta": {
"annotate_range": [60, 40],
"camera_height": 1.5
}
},
"2D_source": {
"url": "https://example.com/example.jpg",
"meta": {
"image_width": 1920,
"image_height": 1080
}
}
}

点云标注(连续帧)

连续帧将多个单帧资源组合成一个 task。

点云连续帧标注中每帧的字段需要一致。

[
{
"3D_source": {
"url": "https://example.com/frame_1.pcd",
"meta": {
"annotate_range": [60, 40],
"camera_height": 1.5,
"enable_camera_projection": true
}
},
"2D_source": {
"url": "https://example.com/frame_1_camera.jpg",
"meta": {
"image_width": 1920,
"image_height": 1080
}
}
},
{
"3D_source": {
"url": "https://example.com/frame_2.pcd",
"meta": {}
},
"2D_source": {
"url": "https://example.com/frame_2_camera.jpg",
"meta": {
"image_width": 1920,
"image_height": 1080
}
}
}
]

示例:

  1. taskn:文件夹,存放题目的配置文件以及标注数据;

  2. task.json:配置文件,可以配置题目每一帧的 meta 信息;

    1. 在 meta 字段配置点云或子源的 meta 信息;

    2. 在 url 字段配置数据的相对路径。

  3. data:文件夹,存放题目的每一帧的标注数据;

  4. frame:文件夹,存放题目某一帧的标注数据;

  5. image:子源图片;

  6. pcd:点云文件。

目录结构

task.json示例:

具体字段含义见:点云元数据 & 子源元数据(点云)

音频标注

音频目前支持 WAVMP3FLACPCM 格式。

单个 task 需要一个资源:

  • audio_source(required):固定字段,表示音频资源。元数据定义见音频元数据

{
"audio_source": {
"url": "https://example.com/example.mp3",
"meta": {
"sample_rate": 22,
"audio_length": 2919
}
}
}

文本标注

文本目前仅支持 TXT 文件。

单个 task 需要一个资源:

  • string_source(required): 固定字段, 表示文本资源。元数据定义见文本元数据

{
"string_source": {
"url": "https://example.com/example.txt",
"meta": {
"character_length": 230,
"encoding": "utf-8"
}
}
}

资源元数据定义

图片元数据

  • width:图片宽度,单位:pixel。

  • height:图片长度,单位:pixel。

点云元数据

  • annotate_range:标注范围,数组类型,例如:[60, 40],表示 60m 和 40m 两个标注范围,单位:m

  • camera_height:LiDAR高度,单位:m。

  • enable_camera_projection:是否开启子源映射,true / false

  • global_coordinate:是否开启大地坐标系,true / false

    • ego_position:雷达坐标

      • x

      • y

      • z

    • position:雷达坐标

      • x

      • y

      • z

    • ego_heading:雷达朝向

      • x

      • y

      • z

      • w

子源元数据(点云)

  • image_width:图片宽度,单位:pixel。

  • image_height:图片高度,单位:pixel。

  • camera_index:相机 ID,当有多张图片的时候用于区分不同的图片。

  • position:相机与 LiDAR 的相对位置,包括:

    • x

    • y

    • z

  • heading:相机与 LiDAR 的偏转角,用四元组表示:

    • x

    • y

    • z

    • w

  • timestamp:相机拍摄时间

  • fx:相机 X 方向上焦距,单位:pixel。

  • fy:相机 Y 方向上焦距,单位:pixel。

  • cx:主点 X 值。

  • cy:主点 Y 值。

  • skew:相机扭曲因子。

  • k1:第 1 项径向畸变系数(Brown-Conrady 和鱼眼相机模型)

  • k2:第 2 项径向畸变系数(Brown-Conrady 和鱼眼相机模型)

  • k3:第 3 项径向畸变系数 (Brown-Conrady 和鱼眼相机模型)

  • k4:第 4 项径向畸变系数(鱼眼相机模型)

  • p1:第 1 项切向畸变系数(Brown-Conrady)

  • p2:第 2 项切向畸变系数(Brown-Conrady)

‌音频元数据

  • sample_rate:音频采样率,单位:KHz。

  • audio_length:音频时长,单位:ms。

文本元数据

  • character_length:文本长度(字符数)。

  • encoding:文本编码,默认为 utf-8