智慧城市大数据的特征及业务管理.doc

智慧城市大数据的特征及业务管理随着经济的发展和技术的进步，城市建设呈信息化、智慧化的发展趋势。2013年1月29日，住房和城乡建设部公布了首批90个国家 智慧城市试点名单，同时颁布了国家智慧城市试点暂行管理办法和国家智慧城市（区、镇）试点指标体系，这标志着我国智慧城市发展进入规模推广的阶段。智慧城市是新一代信息技术支撑下的城市形态。智慧城市基于物联网、云计算、移动互联网等新一代信息技术，令城市生活更加智能、资源利用更加节约、城市管理更加高效，改进服务交付和生活质量，减少对环境的影响，推动城市向低碳化、可持续发展的生态文明城市转型。智慧城市与大数据的关系智慧城市的建设架构分为“感、传、知、用”四个组成部分，如图1所示。在感知层，采用视频监控摄像机、射频识别其多种不同设备进行信息采集；在传输层，构建视频专网，实现信息的可靠传输；在认知层，搭建应用支撑平台，提供公共信息接入、信息整合、信息交换等云服务；在应用层，提供动态监控、预测预警、智能分析等功能。感知层由无处不在的末端设备和设施组成，包括具备“内在智能”的传感器、移动终端、视频监控系统、家庭智能设施等和“外在智能”，贴上RFID的各种资产，携带智能终端的个人与车辆等智能化物件，通过各种无限的或有限的长距离或短距离通信网络均可实现互连互通、应用集成，在内网、专网或者互联网环境下，采用适当的信息安全保障机制，提供安全可控乃至个性化的实时在线检测、定位追溯、应急联动、调动智慧、预案管理、远程控制、安全防范、远程维保、决策支持等管理与服务功能，实现“万物”的高效、节能、安全、环保的“管、控、营”一体化。不同种类、数量众多的末端设备和设施的接入，必然会产生大量的数据。智慧城市的建设和应用离不开大数据做支撑，智慧城市的应用过程实际上就是对数据采集、分析、存储和利用过程。如何从纷繁复杂、不同类型的结构化、非结构化数据中准确无误的提取出有价值的信息，需要IT服务提供商打破行业堡垒，深度挖掘行业应用，使大数据在政府决策、工业经济发展、公共安全、城市应急防控、社会公共服务等方面发挥更大的作用。智慧城市大数据的特征智慧城市大数据的特征通常用4个V来概括，即：Volume Variety Value Velocity特征一：数据体量巨大（Volume） 以平安城市项目视频数据存储为例，一个分辨率为1920*1080的200万像素的高清摄像机，码流为8Mbps，每月产生的视频数据为2.47TB。对于一个拥有10万个摄像机的中等规模的城市而言，每个月产生的数据在250PB左右。如此庞大的视频数据对数据存储、并发处理的要求极高。特征二：数据类型多（Variety） 智慧城市产生的数据由机构化数据和非结构化数据组成。其中结构化数据以文本为主，非结构化包括音频、视频、图片、地理位置信息等。这些多类型的数据对数据的处理能力提出了更高要求。特征三：价值密度低（Value） 价值密度是有价值的数据量与数据总量的比值，如何在智慧城市产生海量的数据提取有价值的信息是智慧城市建设的关键所在。特征四：处理速度快（Velocity） 目前智慧城市运行中产生的数据从PB级至EB级不等，并呈快速增长趋势，从这些海量的数据中提取数据速度的快慢决定了智慧城市提供服务的效率。智慧城市中大数据业务管理1、 分布式大数据架构 智慧城市在日常应用中会产生视频、图片、日志信息、文本信息等大量数据，并且随着时间的推移，数据；量增长速度极快。通过对这些海量数据的分析和处理，提取出有价值的信息，是智慧城市的政府决策、工业经济发展、公共安全、城市应急防控、社会公共服务等方面发挥作用的前提。Hadoop系统在处理这类问题时，采用； 分布式存储方式，提高了读写速度，并扩大了存储容量。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。 2、大数据存储与管理 大数据给传统的数据管理方式带来了严峻的挑战，关系型数据库在容量、性能、成本等多方面都难以满足大数据管理的需求。云数据库可以不受任何部署环境的优势，随意地进行拓展，进而为客户提供适宜其需求的虚拟容量，并实现自助式资源调配和自助式使用计量。NoSQL数据库适合以下场景，即庞大的数据量、极端的查询量和模式演化NoSQL数据库通过折中关系型数据库严格的数据一致性管理，在可扩展性、模型灵活性、经济性和访问性等方面具有很大的优势，可以更好地适应大数据应用的需求，成为大数据时代最重要的数据管理技术。 这样的云数据库需满足一下几个方面： 高并发读写：对智慧城市产生的海量数据，需要具有高并发读写的能力，需要能够处理PB级的数据，同时应对百万级的流量； 高效率存储和访问：存储适应不同数据类型，尽量简化数据操作，提升效率； 高可扩展性和高可用性：支持水平扩展，可简单的通过添加服务节点来扩展数据容量和负载能力，数据库升级不影响服务持续； 降低建设与运维成本：在建设期的软硬件成本和运维期产生的人力成本都要求大幅降低。 3、大数据检索技术 我们处理的数据包含两类，意识具有固定格式或有限长度的结构化数据，如数据库、元数据等；另一个是非结构化的数据，如图片、邮件、word文档等。结构化数据的存储和查询技术比较简单和成熟，可以利用数据的结构特点利用一些算法快速定位数据，效率较高。而对非结构化数据进行检索相对复杂，最原始的方法是顺序扫描，顺序扫描的缺点显而易见，每次检索海量数据都进行全范围扫描时不可取和不现实的。另一种方法是将非结构化的数据结构化，然后利用结构化数据查询的方法进行查询，索引就是这个思路的一个实现方式。所谓索引，就是从非结构化数据中提取并重新组织的结构化数据，用于提高数据检索的效率。 一般全文检索包含两个基本过程：创建索引和搜索索引。 创建索引的过程主要包括以下几个步骤：获取查询语句；分析查询语句，得到查询树（一种描述查询逻辑的树形结构）；利用查询树搜索索引，得到每个词的原始数据链表，对链表进行交、差、并运算得到结果集；按与查询语句的相对性对结果集进行排序；返回排序后的结果集。 所有现代搜索引擎的索引都是基于倒排索引的。到目前为止，倒排索引仍是最有效、最高效的索引结构。海康威视大数据处理平台HDH（Hikvisions Distribution of Apache Hsdoop ），是海康威视自己的Hsdoop发行版本，包含了分布式文件系统、分布式数据库和分布式计算框架等多套组件。HDH面向视频监控的海量半结构化、非结构化数据分布式存储与处理，为各行业提供大数据存储、检索、分析与挖掘的通用平台，提高监控数据处理能力和品质。海康威视大数据处理平台HDH具有以下特点。面向视频监控领域：面向监控数据进行优化，为视频监控项目开发接口，提供监控项目大数据解决方案；更友好的部署/配置/管理工具：基于WEB应用，自动化管理，可视化的操作，提供更完善的设备状态监控；更高效的数据处理能力；PB级数据存储，秒级检索响应，快速高效，提高视频检索能力。结语智慧城市的建设是跨部门、跨行业的系统性工程，为各