Satellite Image Time Series Classification with Pixel-Set Encoders and Temporal Self-Attention论文简读

code: ​​https://github.com/VSainteuf/pytorch-psetae​​

文章目录

• ​​摘要​​
• ​​论文的贡献​​
• ​​方法​​

摘要

卫星图像时间序列在其日益普及的支持下，正处于国际机构致力于实现自动化地球监测的广泛努力的前沿。特别是，大规模的农业地块控制是一个具有重大政治和经济重要性的问题。在这方面，混合卷积-递归神经结构在卫星图像时间序列的自动分类中显示出了很好的结果。我们提出了一种替代方法，其中卷积层被有利地替换为在无序像素集上工作的编码器，以利用公开可用的卫星图像的典型粗糙分辨率。我们还提出使用基于自我注意而不是循环网络的定制神经体系结构来提取时间特征。我们通过实验证明，我们的方法不仅在精度方面优于以前最先进的方法，而且还显著减少了处理时间和内存需求。最后，我们发布了一个大型的开放访问注释数据集，作为未来卫星图像时间序列工作的基准。

论文的贡献

• 受Qi等人的启发。[29]，我们引入了像素集编码器作为卷积神经网络的有效替代中分辨率卫星图像。
• 我们改编了Vaswani等人的工作。[39]到时间序列的端到端、序列到嵌入的设置。
• 我们建立了一种新的最先进的大规模农业地块分类任务。此外，我们的方法不仅显著提高了分类精度，而且与文献中性能最好的方法相比，同时加速了超过4倍，内存印记减少了70%以上。
• 我们发布了第一个开放获取的哨兵2图像数据集，用于具有地面真实标签的作物分类。

方法