数据对AI研究与开发至关重要,说数据是金矿,规模大、标注多的就是富金矿,一点也不过分。
今天向大家介绍一个刚刚发布的遥感领域数据集:Satlas,它在覆盖场景广度和数据规模上都很大,包括 137 个类别和七个标签模式下的2.9亿个标签。作者在论文 Satlas: A Large-Scale, Multi-Task Dataset for Remote Sensing Image Understanding 中从基准、架构、实验结果进行详细介绍。
该数据集由艾伦人工智能研究所发布。
论文地址:
https://arxiv.org/pdf/2211.15660.pdf
Satlas 特点
Satlas,是一个大规模的、多任务的数据集,用于基准测试和改进遥感图像理解模型。即使仅仅将其用作为下游任务的模型预训练,也可以获得大幅性能提升。
Satlas 是在以下三个关键方面对现有的数据集进行的改进:
- 规模:Satlas包含的图像像素比现有最大的数据集FMoW多10倍,同时覆盖了地球更广(x50倍)。
- 多模态的标签:现有数据集的标签是单模态的,例如只关注分类或只关注目标检测。Satlas的标签横跨七种模式;此外,它们包括137个类别,比现有最大的数据集多2倍。
- 空间-时间性对应:标注标签与地理坐标(即经纬度位置)和时间范围有关,而不是与单个遥感图像挂钩。
Satlas 中丰富的七种标签模式的标签示例:
可以满足大部分遥感图像理解任务。
Satlas的137个标签的分类法:
其中有些描述特别细致,比如道路的属性,连车道线条数、最大速度、是不是桥。
Satlas包含了高分辨率的NAIP和中等分辨率的Sentinel-2图像,这些图像表现出非常不同的特点,如:
Satlas 的地理覆盖范围示例,其中明亮的像素表示数据集中图像和标签所覆盖的位置:
可见,采样比较密集的是北美洲、西欧,对中国的采样主要是在中东部地区(不知这种信息的公开是合法的吗,有懂得欢迎留言)。
SatNet架构
作者同时提出了新的统一的遥感图像理解模型SatNet,支持对Satlas中所有标签模态的预测。
实验结果
作者将SatNet与另外八个基线模型在Satlas上进行了比较。其他模型没有能够处理Satlas 的全部标签模态的。在七种标签模式中,当对每种模式进行单独训练时,SatNet 能够匹配或超过最先进的、专门建立的基线方法,验证了 SatNet 作为一个统一模型的有效性,可以应用于各种遥感任务。
另外还发现,在Satlas上进行的预训练极大地提高了下游任务的性能,比ImageNet的平均精度提高了16%!
数据集地址:https://satlas.allenai.org/
作者声称数据将于2023年1月公开。