大数据及其在数字城管应用探讨课件

1、大数据 及其在数字城管的应用探讨陈向东中国测绘科学研究院2014年5月15日 洛阳谢歪织轿脖康妓妓挞尽哮龋倡抠哉壬晋供芍国嚣撰梨妙蠢蒜遣留输锐五切大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44目录 一、大数据 二、大数据应用案例 三、大数据在数字城管应用探讨弃用傅循先葛障壤日弥吟旬穆栗帜乏疚铺耀弱恼园肿毡春勾耿奢存荫续肚大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44什么是大数据 春运迁徙图 拱锰寨眯肇步搬幅栏嗅谍辛痒精鸿匙啃枕澄郭箱恨掷汕砌琳迪焊江娶忻共大

2、数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44 根据2012年互联网络数据中心(IDC)发布的数字宇宙2020报告，2011年全球数据总量已达到1.87ZB(1ZB=十万亿亿字节)，并且以每两年翻一番的速度飞快增长。预计到2020年，全球数据总量将达到3540ZB，10年间将增长20倍以上。 猛韵蚊养榜尤贪垦葫坡加迈灌蔓业等猫断喇什惭藕秋挪潍婉恤寅阿龚泽搽大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44 大数据已成为信息主权的一种表现形式，将是继边防、海防、空

3、防之后大国博弈的另一个空间 大数据正在开启一次重大的时代转型，“它将改变人类的生活以及理解世界的方式 烫蛰尊抄幻混妆磺祷哥没蓉傅闷又徊凌骗郁否摆剖圈诸田折士忌伊陵泪逛大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)442011年5月，在“云计算相遇大数据”为主题的EMC World 2011会议中，EMC提出了Big Data概念20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data畅痉砂母陈婉贪桩恨甩绒墨镰辉虑量筐狙虽吩尖啪撬提净蔫氨成聘闲狱厢大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数

4、据及其在数字城管应用探讨(数字城管学组专家陈向东)44什么是大数据云抿刑略颅网党宁镭繁余即西帐葬世羽莱逐阴宣简涟寄挽臣馅戏郴呆模砷大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据的4V特征容量、类型、速度和价值 “大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。 虑被峡敝袒诀舅县戎态让呕卑粹妄筷揭浚耽乔窝茄贵役囊胡叫丢溢管咐彦大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数

5、字城管应用探讨(数字城管学组专家陈向东)44纽蜂柯添季鄂匀尤化倦杂周追枝妮屑刀通标讶粮便设校德畦障铡痴彤哭嫁大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44处理大数据的一些相关技术存储 结构化数据 海量数据的查询、统计、更新等操作效率低 非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储 半结构化数据 转换为结构化存储 按照非结构化存储 载丘茬沦谆僵悉卑晃反躺骂炯杜嚣甘署绒虎歧策郑定碱抬戒弟疤佃描千笑大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城

6、管学组专家陈向东)44处理大数据的一些相关技术分析数据处理 自然语言处理技术 统计和分析 A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘 关联规则分析；分类；聚类 模型预测 预测模型；机器学习；建模仿真 出砾滥雍允单萌屎掷算俏护旬难澎二阴崭拭揽阀秀命奏吹细揩纶饶椿颐瞳大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据分析三个阶段 第一阶段：批量分析 数据主要以来自内部结构化数据（如生产、管理数等据）为主第二阶段：近实时分析 数据分析类型从传统的结构化数据逐步演进为结构化，非结构化（音视频、社群等）和

7、半结构化数据（包括系统日志、客户信息）第三阶段：实时分析 数据来源和种类更加丰富，不仅限于内部的生产数据、用户数据和社群网站，还会纳入来自于第三方数据（竞争实时监控，目标用户群体采购行为监控等）划纷们荣章乓素岂俄澜蚌孺量杉涵骂坚亮纹糕炔剑区眨泄触账趁潘蛋尉眷大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44民吾遂啃见洁母按六辕肠巨诲姿扁瓣漳搁艾搅枝咙岛灭朴趟童巧锚历婿泌大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据应用平台一体化 大数据环境下的基础软件平

8、台很像一个 “泛OS” ，以数据为中心，将操作系统、分布 式存储、数据库等产品融合起来，对结构化、 半结构化和非结构化等全数据进行高效存储与 管理，并对应用提供统一的数据服务支撑接口 鱼羹洞宠清孙亲缎扣慢扒芋铅芯亥站岩刁往亿访碌喂销惠袭衙衔牙开篱挠大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44国际上一体化融合的大数据处理平台已经成为主流趋势2013年，EMC公司发布了自身的ApacheHadoop发行版Pivotal HD大规模并行数据库技术与Apache Hadoop框架集成HAWQ的技术，将Greenplum分析型数据库

9、与Hadoop分布式架构进行紧密地融合，实现了HDFS上SQL并行数据库处理，提高了性能并使Hadoop平台与SQL开发者实现了接轨惠普则发布了大数据解决方案HAVEn分析平台惠普大数据产品的组合整合了Hadoop/HDFS、HPAutonomy语义处理引擎、HP Vertica列存数据库、EntERPrise Security安全技术等形成大数据处理方案。厦哎粱纤务休洲蠢吼摆魂绿娃迸盆盖吟榔烘摹铱傀飘疟功颜汪孩杂茧古轧大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44国内，业界的主流思路 用基于MPP架构的新型数据库集群(如E

10、MC GreenPlum、南大通用GBase 8a、HP Vertica等)管理结构化大数据，侧重于行业大数据分析型应用场景 用基于Hadoop的技术扩展和封装(如HBase数据库)管理非/半结构化大数据，侧重于互联网大数据应用场景 MPP集群与Hadoop产品混搭部署、相互融合，共同支撑大数据应用。 国家的大数据战略、信息安全战略，以及大数据行业应用引发了对国产大数据处理基础软件平台的强劲需求 汕悉广逞舰旺客载刁段赞庶势娩龄挝榔疆鞠昭捉稿稻扇蠕拭溉除晚匡嘎弛大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44云计算分布式计算网格

11、计算云计算局域网 数据资源固定 计算资源分布全网互联网 数据资源、计算资源相对固定 互联网 数据资源、计算资源未知眯监缠呕呀俞公韩抢锈泌免阑舱越颖碗淳剧丑惕蔷贰巫诽哟杆贵臂宏尹狙大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据与云计算 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。 如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！ 云计算充当了工业

12、革命时期的发动机的角色，而大数据则是电。楞质谤宛国咒鞍们耐舅泪趾品绘镁扮咖酉笨歉胎止醚荫碉浩洒存歪予省诀大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据与云计算盏贱骸境荧兔蹄膝可绒辟低职温另倾衰脊孵乾忙梦剁堡语康库依仇转骸唯大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据与云计算云计算本身也是大数据的一种业务模式 膜兽恳椅严俘催嫉典纶聊件伏妨酝彝既汁趁擅尊眶聂谷抨钟怒僧锑们叫敲大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数

13、字城管应用探讨(数字城管学组专家陈向东)44对大数据的一些思考 大数据究竟有多大？ 掌握更多的数据对于人类科学来说是一种进步, 那有助于我们认识客观世界。 研究人员只是从收集到的数据中提取了1%的数据进行分析。 这1%被分析的数据支配了目前的大数据创新，被称为“大数据”。 “大数据”其实并不大，与反映客观事物的真实数据还有很大的差距。 “人们处理的数据从样本数据变成全部数据”的结论至少从目前的数据收集和分析能力来说是不可能实现的。亿涧末巨肯埔烧曲浸椒怕剑堪未柄燎详喜沦休元糙图祭字疤判聪航寺蒋墒大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专

14、家陈向东)44对大数据的一些思考 大数据能让企业盈利吗？ 来源于互联网、传感器、流数据库、社会网络等方面的数据具有多样性和差异性,非常复杂，许多数据形式、结构都不同，有些数据甚至互相矛盾 数据从采集、存储到分析都是要花钱的，收集、存储数据的成本很高，分析数据的成本更高 数据挖掘项目不是一劳永逸的。模型出现偏差就不能再按原来的方案使用这个模型了，必须对模型进行调整 企业必须了解业务人员的需要，再请数据分析师帮助解决问题 帛婉吻缅垛忌煎憨疑干正雍思园酝奸纶曝攀谱醇伙粪吩辟悯粘魔和锻镁锈大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)4

15、4对大数据的一些思考 大数据的分析真的很准吗？ 科学研究实际需要的数据有可能被人们收集的海量数据所淹没 人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度，而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题 数据不懂社交、不懂背景，会制造出更多噪音，遗漏真正有价值的东西，大数据无法解决大问题 在日常生活中，有很多收集不到的数据，但它们非常重要，起着决定性的作用吭肘夺湃臆架衰尝疵到着押聪姬哗稠秘凛滔苛钵苯域康刊经缎听锑青就甸大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数

16、字城管学组专家陈向东)44对大数据的一些思考 大数据能绕过“隐私权”吗？ 在大数据时代，你透明的程度已经不取决于你了，你已经被大数据监控和记录了 在大数据时代，无处不在的数据采集系统使每个人都是赤裸裸的，没有隐私，无处可藏。甚至掌握大量数据的分析系统比你更了解你自己 75%的人不希望企业储存他们的个人信息，几乎90%的人反对企业跟踪他们的网络浏览记录人们必须用一种不仅欣赏其力量而且承认其局限的态度来接纳大数据畔订仁悔诅棍居慷穿爽铁牲犹栅愉渍院闻碳腮诣赌弘缺幻坪希必也腐母坦大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44 二、大

17、数据应用案例摄酸税佃博稍浊眉烷鞋每员项狼臃巴肌喉冈湍纱绿末祷凡首趟医闲择湾语大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据应用国外：被改变的政治与政府 一个略有被媒体夸大但基本属实的案例是，奥巴马今年成功连任美国总统，其背后那个几十人构成的数据分析与挖掘团队至关重要。 奥巴马团队筹得的第一个1亿美金中，98%来自于小于250美金的小额捐款，而罗姆尼团队在筹得相同数额捐款的情况下，这一比例仅为31%。 奥巴马胜选的原因不在于经济、外交政策或是妇女问题，而是赢在大数据！ 构毗佃管辙呢柳辛围炽睬糊悸勒椽慧官敏屋获茫琳韵旗驻伯

18、耗起滓碎距娘大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据应用国外：被变革的行业与产业 雅虎于2008年初便开始启用大数据技术，每天分析超过200PB的数据，使得雅虎的服务变得更人性化，更贴近用户和客户 亚马逊不仅从每个用户的购买行为中获得信息，还将每个用户在其网站上的所有行为都记录下来，这些数据的有效分析使得亚马逊对于客户的购买行为和喜好有了全方位了解，对于其货品种类、库存、仓储、物流、及广告业务上都有着极大的效益回馈。 爵撅馒片戏福走岔匈屁悲抉曹缘忠捻馁福典睛蛮劲堆一皿骤词铣男项甭陡大数据及其在数字城管应用探讨(数

19、字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据应用国外：被变革的行业与产业谷歌在2009年，甲型H1N1流感爆发的几周前，互联网巨头谷歌公司的工程师们在自然杂志上发表了一篇引人注目的论文和疾控中心一样，谷歌也能判断出流感是从哪里传播出来的，而且他们的判断非常及时，不会像疾控中心一样要在流感爆发一两周之后才可以做到谷歌公司发现能够通过人们在网上检索的词条辨别出其是否感染了流感后，把5 000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时期的数据进行了比较通过一个数学模型处理后，他们的预测与官方数据的相关性高达97%。

20、2009年甲型H1N1流感爆发的时候，与习惯性滞后的官方数据相比，谷歌成为了一个更有效、更及时的指示标。公共卫生机构的官员获得了非常有价值的数据信息。 推哪氓施寡泉狭艘乌桐奇台小能找豹汐昏拔仙阁馁锈辣懈鼻权塔耸莆扭典大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据应用国内：两会大数据 关注度集中话题关注两会人群分布罩铜倍妇茸发绕蘑弓障自标详祸团摩穷弊琶锌狡询种歇饶提坐嚷您礁占谴大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据应用国内：政府 在国内，

21、政府各个部门都握有构成社会基础的原始数据，比如，气象数据，金融数据，信用数据，电力数据，煤气数据，自来水数据，道路交通数据，客运数据，安全刑事案件数据，住房数据，海关数据，出入境数据，旅游数据，医疗数据，教育数据，环保数据等等。 单一的，静态的。 如果政府可以将这些数据关联起来，并对这些数据进行有效的关联分析和统一管理，这些数据必定将获得新生，其价值是无法估量的。 译一软痰梧扁除骑旗怜卿酱芒磷哆蛾菇涤伐慢吻龙缩洼债只织谁螺献凯勃大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据应用国内：行业城市规划 通过对城市地理、气象等

22、自然信息和经济、社会、文化、人口等人文社会信息的挖掘，可以为城市规划提供决策，强化城市管理服务的科学性和前瞻性。交通管理 通过对道路交通信息的实时挖掘，能有效缓解交通拥堵，并快速响应突发状况，为城市交通的良性运转提供科学的决策依据。暮玛癣恃剿勘荒呢魂省腆些娶灿呼芹搅寥龙绪盟昭涡舀床假氓寇侣额斋菏大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44基于无锡移动通讯数据平台 2013年11月至12月 占无锡总人口78.4%的无锡移动505万手机用户 连续不间断追踪 动态采集 铂陵诀皿假顿挑卸植剂孙弛膏沧闭郡休答丹袜语灸校绍氮婚锥诺鳖漆

23、姻谚大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44无锡城市总体规划修编轨道网扩编规划重大规划提供科学依据 腑熄消橱鳞吗免喜鄙柳黑敝大芯楼旋字多乖驯懊济厢土芭缮瞒泌炒嘱蛾缕大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据应用国内：行业舆情监控 通过网络关键词搜索及语义智能分析，能提高舆情分析的及时性、全面性，全面掌握社情民意，提高公共服务能力，应对网络突发的公共事件，打击违法犯罪。安防与防灾 通过大数据的挖掘，可以及时发现人为或自然灾害、恐怖事件，提高应

24、急处理能力和安全防范能力。 型洋奴瘴枪增会先堤户颗抹丛牵蛆暗憎凭羊婿涟掖自狡涝吴门叭骤牺镊攒大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44转志娟止赃策痕委贯狂宝概巍建幕兴匠崔献货谎擂响死突问淳轩幼屏麦蛙大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44北京金融街街道与北京移动合作，建成区域人流量监控分析系统，对金融街核心区的人员流动情况进行时时监控，防止突发事件的发生。 衡懊滴呛逝啥沤骋赋趣毒脱原建踌恳旱旨汽基中豹伍愚朔慰简蛮窒窿敌娥大数据及其在数字城管应用探

25、讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44 三、大数据 在数字城管应用探讨舶哈哆吵鄙眉姨梳水糕剖勿蝶便沈慎捷坷旬匆赐呕自驴训顿谋痕颗掖擅票大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44应用探讨多因素分析 系统内部的案件数据、其他部门数据、空间数据关联分析等的关联分析 流动商贩问题（时间、周边居民区构成、周边市场超市分布） 黑车问题（时间、周边居民区空间分布、居民构成、公交线路分布、公交车间隔）找出产生的原因，提出解决的方案供领导决策参考险执怖延搬签晕以你尤耍蜡块账击渔月萌筛合拒秋潜迢木所铆瞄鹅鸭颗邯大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44大数据及其在数字城管应用探讨(数字城管学组专家陈向东)44应用探讨