包含2.9亿标签!大规模、多任务遥感图像理解数据集Satlas,遥感领域的富金矿

2022-12-08 19:25 519 阅读 ID:578
磐创AI
磐创AI

  数据对AI研究与开发至关重要,说数据是金矿,规模大、标注多的就是富金矿,一点也不过分。


今天向大家介绍一个刚刚发布的遥感领域数据集:Satlas,它在覆盖场景广度和数据规模上都很大,包括 137 个类别和七个标签模式下的2.9亿个标签。作者在论文 Satlas: A Large-Scale, Multi-Task Dataset for Remote Sensing Image Understanding 中从基准、架构、实验结果进行详细介绍。  

  该数据集由艾伦人工智能研究所发布。

  论文地址:
https://arxiv.org/pdf/2211.15660.pdf  

Satlas 特点

Satlas,是一个大规模的、多任务的数据集,用于基准测试和改进遥感图像理解模型。即使仅仅将其用作为下游任务的模型预训练,也可以获得大幅性能提升。
Satlas 是在以下三个关键方面对现有的数据集进行的改进:

  • 规模:Satlas包含的图像像素比现有最大的数据集FMoW多10倍,同时覆盖了地球更广(x50倍)。
  • 多模态的标签:现有数据集的标签是单模态的,例如只关注分类或只关注目标检测。Satlas的标签横跨七种模式;此外,它们包括137个类别,比现有最大的数据集多2倍。
  • 空间-时间性对应:标注标签与地理坐标(即经纬度位置)和时间范围有关,而不是与单个遥感图像挂钩。


Satlas 中丰富的七种标签模式的标签示例:

  可以满足大部分遥感图像理解任务。


Satlas的137个标签的分类法:  

  其中有些描述特别细致,比如道路的属性,连车道线条数、最大速度、是不是桥。


Satlas包含了高分辨率的NAIP和中等分辨率的Sentinel-2图像,这些图像表现出非常不同的特点,如:  

Satlas 的地理覆盖范围示例,其中明亮的像素表示数据集中图像和标签所覆盖的位置:

可见,采样比较密集的是北美洲、西欧,对中国的采样主要是在中东部地区(不知这种信息的公开是合法的吗,有懂得欢迎留言)。

SatNet架构

作者同时提出了新的统一的遥感图像理解模型SatNet,支持对Satlas中所有标签模态的预测。

实验结果

作者将SatNet与另外八个基线模型在Satlas上进行了比较。其他模型没有能够处理Satlas 的全部标签模态的。在七种标签模式中,当对每种模式进行单独训练时,SatNet 能够匹配或超过最先进的、专门建立的基线方法,验证了 SatNet 作为一个统一模型的有效性,可以应用于各种遥感任务。

  另外还发现,在Satlas上进行的预训练极大地提高了下游任务的性能,比ImageNet的平均精度提高了16%!


数据集地址:https://satlas.allenai.org/


作者声称数据将于2023年1月公开。

免责声明:作者保留权利,不代表本站立场。如想了解更多和作者有关的信息可以查看页面右侧作者信息卡片。
反馈
to-top--btn