Transformer为啥在遥感上不work？
最近尝试了swin transformer，swin unet等transformer模型在遥感分割任务上，精度始终差强人意，和HRNet差不多。
模型不同影响不会这么大，数据特性才是重点，imagenet等数据集的图像，其尺度多限于单个物体，全局特征更加重要，而transfomer获取全局特征的能力优于cnn，所以能有这么好的效果。而遥感影像里，每个物体的尺度都普遍偏小，获取全局特征的意义不大，反而是局部特征更重要，所以transformer相比于cnn就没有多大提升。深度学习的时代，数据才是核心，模型只是方法，不要舍本求末。

再多说两句，cnn和transformer到底有什么本质差别，先说结论，cnn擅长提取高频信息，transformer善于提取低频信息，这是cnn在局部效果更好，transformer在全局效果更好的本质，再说为什么，根据年初ICLR几篇文章的研究，cnn本质上就是一堆算子的结合，可视为一堆高通滤波器的叠加，其会不断强化高频信息，而transformer由于其大量线性计算+聚合的特性，本质上是个低通滤波器，会不断强化图像的底层语义信息，说简单些，cnn是自顶向下的学习，transformer相反，是自底向上去构建特征的，这就导致transformer的训练十分困难，需要大量的数据构建起正确的地基，上层的建筑才能稳固。