面向深度学习的遥感影像样例库方案

面向深度学习的遥感影像样例库建设01背景解决方案--目标与任务样例数据--设计、生产与管理算法验证020304结论与展望05提 纲O U T L I N E机

器

学

习

技

术

快

速

发

展50年代60~80年代90~2000年代20062011~2016人工智能兴起提出图灵测试进入萌芽时代人工智能持续发展浅层学习模型兴起多伦多大学教授Hinton开启深度学习在学术和工业界应用人工智能出现新的浪潮AlphaGo今天…AlphaGo

ZERO“无师自通？”1

.

1

自

然

影

像

机

器

识

别

技

术

进

展深度学习模型层数多、参数多，需要更高的计算能力计

算

能

力

提

升

支

撑

了

机

器

学

习

的

发

展1

.

1

自

然

影

像

机

器

识

别

技

术

进

展互联网数据的呈量级增长，满足了机器学习对数据样本的需求。互

联

网

数

据

的

增

长

使

大

样

本

成

为

可

能猫深层卷积神经网络人

工

智

能

对

影

像

的

解

译

-

-

分

类在自然影像领域，深度学习在计算机视觉方向的研究工作，

根据任

务根据对象数量可以分为分类、目标检测和要素分割三类；可以分为单目标和多目标两种。分

类

分

割准确识别图片中的人脸信息，提供人脸属性识别、关键点定位、人脸1：1比对、人脸1：N识别、活体检测等能力远程身份认证安防监控身份辨识人脸支付人脸签到高铁、机场，你已经被识别过…分

类

、

分

割

识

别人脸识别得到实际应用基于深度学习的人脸识别方案，面向自然影像的进展-

-

-

-

-

-

I

m

a

g

e

N

e

t

为代表的数据集极大地促进了机器视觉技术发展ImageNet数据集从互联网搜集1400多万幅图片，涵盖2万多个类别；其中有超过百万的图片有明确的类别标注和图像中物体位置标注。两

大

支

撑

—

影

像

样

本

/

算

法

模

型两

大

支

撑

—

影

像

样

本

/

算

法

模

型准确分类与分割需要优秀的算法模型（

AlexNet

，VGG，GoogleNet，ResNet

FCN）同一模型的参数优化对结果有明显影响引自：

Long,J FullyConvolutionalNetworksforsemantic

Segmentation2010年开启基于ImageNet数据集的深度学习年度挑战赛，短短七年时间，识别对象物体的最高准确率从71.8%提升至97.3%，超过了人类的识别水平。成功训练一个深度网络需要大量已标注的训练样本准确分类、分割、识别研究对象需要优秀的算法模型由于观测高度、角度、相机等方面的差异，自然目视影像的样例数据不能用在地表遥感影像解译领域平视俯视1

.

2

面向地表遥感影像的可喜尝试------

几个科学数据集1

/

3UC

Merced_LandUse数据集（Yang

andNewsam,

2010）UC、美国地质勘探局从美国波士顿等19个不同城市地区大量卫星影像中通过人工收集和提取影像的分辨率为0.3米，大小为300M左右。包含21个不同的土地利用类型，分别为农业，飞机，棒球场地，海滩，建筑物，丛林，密集住宅，森林，高速公路，高尔夫场，港口，交叉口，中密度住宅，立交桥，停车场，河流，跑道，稀疏住宅，储罐和网球场等每个类由100个具有256×256像素尺寸的图像组成SAT-4和SAT-6数据集（Basu

etal.,

2015）LouisianaStateUniversity，

NASA从NAIP（

National

Agriculture

Imagery

Program）收集加利福尼亚州的两个区域农业遥感影像SAT-4由裸露地、草地、林地、其他类4个类别，

500,000张影像；SAT-6由裸露地、草地、林地、道路、建筑物、水体6个类别，405,000张影像；影像尺寸的大小均为28×281

.

2

面向地表遥感影像的可喜尝试------

几个科学数据集2

/

3RSI-CB数据集（Haifeng

Liet

al.,

2017）(remote

sensing

image

classification

benchmark)中南大学和武汉大学团队基于众包数据（OpenStreetMap）以及

bing

地图和

google

地图的影像采集而成其影像分辨率在0.22米至3米之间，数据集采用两种不同的影像尺寸，分别为256×256和128×128，并由此命名为RSI-CB256和RSI-CB128。RSI-CB256

35个子类别，超过24,000张图像RSI-CB128

45个子类别，超过36,000张图像在中国土地利用分类标准的基础上采用分级分类体系，有6大类：农业用地、建设用地及设施、交通及设施、水体及水资源保护设施、林地、其他土地利用1

.

2

面向地表遥感影像的可喜尝试------

几个科学数据集3

/

31

.

3

小

结2

.

1

我

们

的

方

案2

.

1

我

们

的

方

案面向深度学习算法和模型，采用基础测绘、地理国情普查和监测数据成果，开展地表影像大数据样例生产。构建样例库，成为时空大数据与云平台的重要科学数据集。在此样例库基础上，采用深度学习算法建立模型，开展对象识别与分割工作。基

础

测

绘

、

普

查

成

果

是

可

靠

的

样

例

数

据地类的标识由现场调绘完成数据的生产具有完整的质量控制体系航空摄影获取影像人工目视解译影像采集要素外业核查内业编图质检建库数据类型时期数据量基础测绘十一五26607470基础测绘十二五第一轮28617612基础测绘十二五第二轮28814558地理国情普查2015年11998148地理国情监测2016年10814414地理国情监测2017年121936182

.

1

我

们

的

方

案海量的数据积累江苏省测绘地理信息局生产更新4期1:1万省级基础测绘数据2015年地理国情普查数据2016/17地理国情监测数据。2

.

2

目

标

与

任

务目标在充分分析深度学习算法模型对遥感影像样例数据需求基础上，结合目前已有的基础测绘和地理国情普查、监测数据成果，研究面向深度学习的遥感影像样例数据生产方法和工具，构建包含时空信息的、多数据源、多尺度的江苏省遥感影像样例数据并建立样例库，在此基础上，开展地表对象识别与分割，为深度学习在测绘地理信息行业深度应用打下坚实基础。2

.

2

目

标

与

任

务基于以上目标将项目分解为以下几个主要任务：调研目前已有深度学习算法在影像解译领域的应用方向和算法对样例的需求，制定样例数据规范或标准；分析已有的基础测绘数据、地理国情普查与监测数据采集标准、采集方式，制定样例数据分类体系和样例数据生产方法；基于样例数据标准和生产方法，开发样例数据生产工具；利用工具生产样例数据，形成样例数据库；开发自动解译居民地（房屋面）的深度学习影像解译算法，基于样例库和解译算法，自动解译2017年遥感卫星影像。3

.

1

样

例

设

计样例大小样例规模样例类别样例类简平衡3

.

1

样

例

设

计样例大小不同的算法实现会对图片大小有要求，因为每个模型的实现方式并不固定，而且考虑到深度学习从影像中提取特征是从低层到高层，分别对应边缘特征、局部特征、整体特征，以及在输入模型之前可以对图片进行任意预处理等因素，我们认为：样例需要能够体现地物的全部特征，大小可以不固定。3

.

1

样

例

设

计样例规模吴恩达曾经说过：做AI研究就像造宇宙飞船，除了充足的燃料之外，强劲的引擎也是必不可少的。假如燃料不足，则飞船就无法进入预定轨道。而引擎不够强劲，飞船甚至不能升空。类比于AI，深度学习模型就好像引擎，海量的训练数据就好像燃料，这两者对于AI而言同样缺一不可。所以，样例数据越多越好，规模越大越好。样例类别样例类别和算法最终要解决的问题相关，样例类别选取应以需求为导向，综合考虑已有数据、生产难度和算法实现可能性三个因素。样例类间数量瑞典皇家理工学院的Paulina

Hensman研究过样例类别间数量不平衡会对卷积神经网络的分类结果产生明显影响，所以数据类的样本数量应尽量平衡，不能差距太大。3

.

1

样

例

设

计3

.

2

样

例

生

产

—

—

数

据

分

析基础测绘数据与国情数据对比分析对比项基础测绘数据地理国情数据版本十五、十一五、十二五第一轮、十二五第二轮，共四个版本2015年普查数据、2016年和2017年监测数据，共三个版本影像情况十五：1米卫片；十一五:0.5米航片；十二五两轮：0.3米航片2015年普查：0.3米航片；2016年监测：1米卫片；2017年监测：1米卫片分类情况定位基础、水系、居民地、交通、管线、境界与政区、地貌、植被与土质、地名及注记，九大类种植土地、林草覆盖、房屋建筑（区）、铁路与道路、构筑物、人工堆掘地、裸露地表、水域、地理单元、地形，十个一级类要素类型每一类数据根据上图指标分为点、线、面三种地表覆盖全部为面状数据；重要国情要素数据由点、线、面三种组成，点状要素非常少采集原则以地图制图为主要原则之一，对上图信息进行综合取舍，位置精度要求高，属性项较少，不能完全反映真实世界面向信息统计，较少考虑出图，尽可能反映真实世界，较少的综合取舍，重要国情要素属性信息丰富3

.

2

样

例

生

产

—

—

数

据

分

析基础测绘数据与国情数据对比分析序号基础地理信息分类国情普查类别1定位基础2水系水域3居民地及设施房屋建筑（区）、构筑地表 基础测绘中存在大量具有人文属性的要4 交通 铁路与道路5 管线

素分类，从影像上分辨不出的要素，例6 境界与政区 境界与政区（扩展） 如医院。还有点、线要素怎样生产样例7 地貌 地形 等问题，需要根据分析选择。8 植被与土质 9 种植土地、林草覆盖基础测绘数据和地理国情数据分类上存在交叉，需要做出选取。物、人工堆掘地、裸露1、基础测绘和地理国情数据，是良好的样例生产数据源。2、不是所有的基础测绘和地理国情矢量数据，都适于生产样例数据。需要选择性使用、制定不同策略3

.

3

小

结样例大小样例规模样例类别样例类间平衡样例体现地物的全部特征，大小不固定样例数据越多越好，规模越大越好。~1200万样例类别选择要综合考虑已有数据、生产难度和算法实现可行性8个大类，66个二级类，123类（三级）尽量平衡团队数据集名称样例类别样例大小样例规模方法数据源UC（YangandNewsam,

2010）UCMerced_LandUseUniversityofCalifornia21256×25100个/每类人工收集和提取美国波士顿等19个不同城市地区大量卫星影像LouisianaStateUniversity，

NASASAT-4428×28500,000人工收集和提取NAIP（NationalAgricultureImageryProgram）加利福尼亚州两个区域农业遥感影像SAT-66405,000中南大学武汉大学RSI-CB12845128×128>36,000人工收集和提取基于众包数据（OpenStreetMap）以及bing地图和google地图的影像RSI-CB25635256×256>24,000我们123不固定~12，000，000卫星

航摄影像3

.

4

样

例

管

理

-

-

-

-

样

例

库

功

能

模

块样例数据管理系统面向样例使用人员提供样例查询、下载功能，样例生产人员提供新样例生产、清洗功能，管理人员提供统计、分析功能。面向深度学习的遥感影像样例库样本查询映射文件管理新增新时期样本新增旧时期样本样模模样角本型型本色清使介统管洗用绍计理关于模型构建上载使用管理3

.

4

样

例

管

理

-

-

-

-

样

例

库

功

能

模

块2017BDCI我们提供的样例数据支撑了年大赛建筑物识别与分割本项目中使用到的语义分割算法的主干网络是U-Net网络。它是一种编码器-解码器结构,编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。编码器和解码器之间通常存在快捷连接，因此能帮助解码器更好地修复目标的细节。因为结构上的对称性所以形如大写的英文字母U，故称为U-Net网络。引自：Olaf.R

U-Net:

Convolutional

Networks

for

BiomedicalImage

Segmentation分

类

与

分

割

结

果城

市

地

区

2

7

平

方

公

里时

间

1

1

秒分

类

与

分

割

结

果集

镇

地

区

2

7

平

方

公

里时

间

1

3

秒变化检测