陆军船艇装备社会化保障初探

1.引言

2017年6月24日5时45分，四川省阿坝藏羌族自治州茂县叠溪镇新磨村突发山体高位垮塌，塌方量达800万方，造成40余户农房被掩埋，100多人失联，河道堵塞两公里，1600余米道路被掩埋。

灾害发生后，通过“高分”三号卫星拍摄的遥感图像，显示山体崩塌发生前后地质地貌变化和受灾情况，可以看出山体崩塌对地形地貌和村庄造成巨大破坏。

利用卫星遥感数据在第一时间对灾区情况进行分析评估，可以为救灾和灾后重建提供数据技术支撑和地理信息保障，验证了航天遥感在全球性、全天候、大范围、高动态和多样化数据等方面的优越性。

2.航天遥感系统组成

航天遥感系统由数据获取与处理系统(含传感器平台、控制系统、地面处理系统等)、遥感信息反演系统和遥感信息应用系统等部分组成，完成遥感数据获取、处理、管理、分析和应用等功能。

经过多年发展，我国遥感信息获取、处理及应用技术取得了显著的成绩，逐步形成了气象、资源、海洋、环境减灾四大民用遥感卫星系列。在863计划、高分专项等大型课题的推动下，我国遥感应用研究进入了大型化、快速化的发展阶段。我国卫星遥感地面站接收的数据目前正以TB/天的速率增长。随着各个专项建设进度的不断推进，将进一步产生大量的遥感影像资料，海量遥感数据和简单的数据服务方式之间矛盾突出。

为了应对遥感数据快速增长带来的数据处理压力，2012年3月美国政府正式启动了“大数据发展计划”，美国国家航天局(National Aeronautics and Space Administration, NASA)、美国大气海洋管理局(National Oceanic and Atmospheric Administration,NOAA)、美国地质勘探局(United States Geological Survey,USGS)等美国航天遥感科研机构陆续开展了大数据背景下获取、存储、处理、分析和共享海量遥感数据的研究工作。

下面从数据容量、数据类型等方面入手分析遥感信息的大数据特征，研究基于Hadoop/Mapreduce架构的航天遥感数据处理方法。

3.航天遥感大数据特征分析

随着航天遥感技术的发展，遥感数据来源越来越广泛，包括全色、多光谱、高光谱、红外、SAR、激光雷达等；其空间分辨率、时间分辨率、光谱分辨率和辐射分辨率越来越高；遥感数据量级呈现指数级增长的趋势。航天遥感数据已经具有了显著的大数据特征。

特征大容量(Large Volume)随着航天遥感平台上的多个传感器发展，遥感数据量不断增加多类型(Many Varieties)全色，多/高光谱，红外，SAR，Lidar等高效率(High Velocity)反恐维稳、应急救灾、军事等对遥感数据处理有时效性要求难辨识(Difficult to Veracity)数据存在不一致性(inconsistency)、不完整性(incomplete-ness)、模糊性(ambiguities)等多类不确定性以及模型近似的误差等高价值(High Value)从遥感数据中可以挖掘出各类信息与知识遥感数据其他特征高维度高维特征描述同一地物多尺度不同尺度上地物具有不同的表现特征非平稳提取的物理过程参数随时间的变化而变化随着传感器和对地观测技术的发展，遥感数据的数据量不断增大。

截至2016年，NASA的9个数据存档中心累计存储遥感卫星数据和试验数据高达5PB，每天新增4.5TB数据，并向用户每日分发2.5TB数据。我国的三大卫星中心，即国家卫星气象中心、中国资源卫星应用中心、国家卫星海洋应用中心，分别存储了1.1PB左右的气象卫星数据、3.5PB左右的陆地观测(资源)卫星数据、25TB左右的海洋卫星数据。2012年升空的ZY-3卫星，每天获取的数据量就达到10TB。

遥感数据的传输速度呈现不断提高的趋势。EODIS(NASA地球观测系统数据和信息系统)处理的数据以4TB/天的速度增长，每天发送到全球用户的数据有20TB。此外，遥感数据的增长会导致遥感元数据数量的增长，EODIS元数据在数据库中数据记录的个数超过了1.29亿。卫星的传输速度在(1~1.6)Gbps之间。

遥感数据的多样性和多维度等特点导致了遥感数据的复杂性。首先，遥感数据应用学科广泛分布，包括环境监测、土地加工、气候研究、水文和海洋监测等，多领域应用会导致遥感数据多样性的增长；其次，遥感数据的数据格式丰富，处理不同格式的遥感数据也会增加遥感数据的复杂性，常见的遥感数据集格式包括HDF、netCDF、GEOTIFF、ASCII等；再次，遥感数据的空间分辨率不断提高，时间分辨率和光谱分辨率分布不均，也会增加遥感数据的复杂性。根据空间分辨率对卫星进行分类，可以分成高分辨率卫星、中等分辨率卫星和低分辨卫星3种。

从时间分辨率的角度来看，SPOT系列卫星的重访周期是1~4天，而NOAA需要几天；从光谱分辨率的角度来看，Hyperion传感器包括220个波段，分辨率为10nm，WIS仪器有812个波段，HJ-1A搭载的光谱成像仪有128个波段。

航天遥感数据具备大容量、多类型、高效率、难辨识、高价值等大数据5V定义，以及高维、多尺度、非平稳等特征，是一种典型的大数据。

4.航天遥感云计算技术

遥感云计算的目标是从遥感大数据中获取信息，通过进一步分析、推断和处理，形成新的信息、数据和知识。遥感数据处理流程大体分为6个阶段，其中“数据预处理”阶段包括对数据的辐射校正和系统几何校正，“数据深加工处理”阶段包括精校正、正射校正、图像融合和图像变换等环节，“专题应用”阶段包括资源环境调查、灾害监测、全球变化等环节。

遥感数据处理是典型的数据密集型计算，这对于数据处理技术是一个较大的挑战。传统的集群分布式平台或者超级计算依赖硬件，包括任务划分、任务处理和节点通讯。而数据密集型计算需要摆脱对硬件编程模型的依赖。这样应用程序可以使用更高级的语义进行描述。

遥感云计算通过整合遥感数据、相关数据处理流程算法和工具，将遥感大数据的存储、处理和传输放置在云端，为用户提供服务。遥感云计算是为了解决遥感大数据应运而生的。遥感大数据带来的挑战包括遥感数据的总量和数据传输速度超越了现阶段的存储和计算容量，而遥感云计算可以为遥感大数据提供存储和分析工具。

云服务由云平台的管理者通过网络以服务的方式提供给使用者。云服务可以分为4种：基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)和商务智能(BI)。现有的云平台中，亚马逊的EC2云提供IaaS，而谷歌AppEngine和微软Azure云提供PaaS。

IaaS是未来信息产业发展的基础。互联网和云服务的部署、海量数据的存储和计算都会促进IaaS发展，PaaS被视为未来信息产业的操作系统，SaaS作用是为用户提供沟通的桥梁。3个服务层还可以进行再划分，每一层包括多种服务类型，进而形成云服务的金字塔模型。

Hadoop生态系统是云计算和大数据处理最成功的架构之一，通过MapReduce架构的开源实现，可以执行分布式数据密集型和并行应用程序。Hadoop分布式文件系统(Hadoop Distrubuted File System)和MapReduce编程模型是其核心要素，分别负责数据的存储和处理。

在Hadoop的应用方面，雅虎在Hadoop上构建了搜索引擎，脸谱公司(Facebook)和Ebay也开发了使用Hadoop的大数据应用处理程序。Hadoop在大数据并行处理方面性能较好，提供了一种跨越多计算机的分布式集聚工作流处理机制。

Hadoop是一个多任务引擎，可以用来进行批处理，不过在其任务处理中，还存在一定的处理延迟。

常见的云计算模型包括3个层次：低层次的编程模型、Key-Value编程模型和一般并行编程模型。低层次编程模型包括OpenMP模型和MPI模型；Key-Value编程模型的代表是谷歌提出的MapReduce模型，该模型基于分治法原理，使用递归的方法将复杂的问题分解为许多小问题，直至这些问题可以被直接解决。一般并行编程包括一些常用的程序库，如标准框架库(STL)，QUAFF等。

在使用云计算技术进行遥感大数据处理的研究中，Hadoop-GIS是一个支持大量空间数据处理、搜索和获取的系统。ESRI Hadoop工具是ESRI为支持Hadoop处理专门设计的工具。Spatial Hadoop使用MapReduce模型进行空间数据索引的构建

TAREEG使用Spatial Hadoop构建的MapReduce系统，主要处理来自OpenStreetMap的数据。CG Hadoop扩展MapReduce模型用来支持多边形、边界线、凸集分析、最远点和最近点等几何操作。

对航天遥感大数据采用云计算处理架构主要包括遥感数据捕获系统、遥感数据处理系统、大数据分析系统和云计算系统。

遥感卫星采用的传感器类型越来越多，遥感数据量越来越大，给数据处理提出了新的挑战，对遥感大数据进行并行处理，可以有效分析遥感数据中的信息。遥感数据捕获系统从多颗卫星进行数据捕获，对多种传感器数据进行预处理，以降低存储成本、提高分析精度；数据预处理完后，采集数据通过下行链路传输到地面站，遥感数据处理系统完成遥感数据存储、管理和服务，根据数据有用性进行数据过滤，通过负载平衡将处理需求分配到不同服务器，进行数学、逻辑处理，生成处理结果；数据处理完成后，大数据分析系统完成遥感数据的聚焦、编辑、分析和决策；云计算系统包括Hadoop分布式文件系统(HDFS)、HDFS文件适配器、MapReduce映射模型软件等，可以为遥感大数据应用提供平台基础。

5.结论

由于大数据、云计算技术在军、民用领域的重要性，国家对其研究投入非常重视，研究成果也得到广泛应用。在航天遥感领域，立足大数据时代背景，实现遥感信息的高效分析处理。本文从航天遥感信息在数据容量、数据类型、数据维度等方面的特征分析入手，分析航天遥感系统的构成、遥感云服务流程，提出了基于Hadoop/MapReduce架构的遥感大数据云计算处理系统架构，为我国未来航天遥感系统建设提供参考。