城市管理大数据

城市管控大数据数智化城管课程之赵云丰2016年4月目录

一、大数据的概念及特征二、大数据应用三、政务大数据四、城市管理中的大数据五、“96310”三高数据分析六、感知数据驱动的高峰勤务模式顾客客服顾客：你好，我想要一份……客服：先生，烦请先把您的会员卡号告诉我。顾客：16846146***。客服：陈先生，您好！您是住在泉州路一号12楼1205室，您家电话是2646****，您公司电话是4666****，您的手机是1391234****。请问您想用哪一个电话付费？顾客：你为什么知道我所有的电话号码？客服：陈先生，因为我们联机到CRMsystem。顾客：我想要一个海鲜比萨……客服：陈先生，海鲜比萨不适合您。顾客：为什么？客服：根据您的医疗记录，你的血压和胆固醇都偏高。顾客：那你们有什么可以推荐的？客服：您可以试试我们的低脂健康比萨。顾客：你怎么知道我会喜欢吃这种的？客服：您上星期一在中央图书馆借了一本《低脂健康食谱》。

引言--大数据在我们身边顾客客服顾客：好。那我要一个家庭特大号比萨，要付多少钱？客服：99元，这个足够您一家六口吃了。但您母亲应该少吃，她上个月刚刚做了心脏搭桥手术，还处在恢复期。顾客：那可以刷卡吗？客服：陈先生，对不起。请您付现款，因为您的信用卡已经刷爆了，您现在还欠银行4807元，而且还不包括房贷利息。顾客：那我先去附近的提款机提款。客服：陈先生，根据您的记录，您已经超过今日提款限额。顾客：算了，你们直接把比萨送我家吧，家里有现金。你们多久会送到？客服：大约30分钟。如果您不想等，可以自己骑车来。顾客：为什么？客服：根据我们CRM全球定位system的车辆行驶自动跟踪system记录。您登记有一辆车号为SB-748的摩托车，而目前您正在解放路东段华联商场右侧骑着这辆摩托车。恐怖的大数据！！这将是未来地球人的生活写照，数据可以用来量化一切、记录一切，一切用数据说话未来数据

大数据成为全球热点大数据国际高度重视，积极开展大数据研究、相关应用工作大数据(BigData)，或称巨量资料，指的是无法在一定时间内用常规软件工具对其主要内容进行抓取、管控和处理的大量而复杂的数据集合。——

维基百科

什么是大数据？我们最熟悉的社会活动——人类活动。今天，不仅仅社会活动，你的私密活动也在数据之中，人类的活动都在慢慢地数据化。在人类活动中，有一个概念叫做造痕，考古挖掘的，就是人类社会生活留下的痕迹。过去，我们通常拿这些痕迹做证据，比如考古学、历史学和社会学的许多研究活动。这些证据有一些会被数据化，数据化了的证据就叫做数据。

社会学角度看大数据麦肯锡从行业和业务价值链的角度给了一个定义：数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘与运用，预示着新一波生产率增长和消费者盈余浪潮的到来。麦肯锡认为，大数据将是一个生产力的来源。“大数据”概念最早从哪里来呢？没有确切的证据，但是IBM很早就开始谈大数据了。IBM给大数据的定义是“4个V”：数量(Volume)、形态(Variety)、价值(Value)、速度(Velocity)，这是从数据本身做的定义。

社会学角度看大数据

大数据的4V特征BytesKBMBGBTBPBEBZBYBBBNBDB一般情况下，大数据是以PB、EB、ZB为单位进行计量的1PB相当于50%的全美学术研究图书馆臧书信息主要内容5EB相当于至今全世界人类讲过的话语1ZB如同全世界海滩沙子数量的总和1YB相当于7000位人类体内为细胞的总和

大数据的4V特征可以同时运行很多个线程数据本身在线上，不在你的桌面计算机或移动硬盘中每个人都有可能是数据的提供者，每个人，只要接触传感器，甚至走在大街上，都是数据的提供者；同时，也是数据的使用者数据的无处不在，无论是工作中还是生活中，数据始终伴随着人们并行化在线化生活化社会化从社会研究的视角，给大数据一个定义——大数据是痕迹数据汇集的并行化、在线化、生活化、社会化。简单地说，大数据，就是形态数字化、非结构化、在线流动着的数据，容量至少在PB级或以上，与社会行为相伴生、通过设备和网络汇集的数据。大数据是完整的，却不一定是system的，它无时无刻都在记录着人类的行为。

大数据的社会化定义思辨的社会学社会学的鼻祖们，基本上都采用了思辨的方法在研究社会学。后来的，比如说帕森斯、福柯、吉登斯等也是。思辩的社会学，主要采用“概念”工具，而不讲求对概念工具的测量，这些社会学家们，基本不用数据。诠释的社会学从胡塞尔到舒茨式的现象学社会学等。这些学者，主要是围绕“意义”进行研究。对他们来说，现象的代表性或许是没有意义的，现象本身却具有意义。他们的任务，就是阐释现象的意义。这一类社会学研究，或许也不用数据。实证的社会学主要源于年鉴学派，也是社会学研究中作品量比较大的一类。如果把这一类社会学与前两类社会学做一个简单的区分，就在于是否使用假设检验和经验检验。

社会学研究的分类目前，数据与社会学研究关系最密切的，是第三类——实证的社会学，实证社会学研究离不开数据。在大数据到来之前，主要有三个数据来源，分别代表了三种资源来源和三个群体的权力。第一，行政数据：各国政府、各级政府，掌握的各种ID、身份、流动、登记、就业、生产、消费等信息；第二，商业数据：例如说过去近三百年的金融数据、生产交易数据、劳动工资数据等，都在商业机构手里。直到1930年开始，社会科学家逐步认识到数据的重要性，开始寻找数据。第三，调查数据；二战以后，ISR逐步发展了一整套依靠学术力量获取数据的方法，并建立了覆盖人类社会、经济、教育、健康生活的各类调查数据。在一定意义上，调查数据，成为学者手中一项资源，也是学者在社会中发出声音的一种依据。

数据来源今天，社会研究依然需要通过调查获取数据。或许大数据研究的范式重在发现，而不是重在推论。社会研究的基本目标还是要把握事物之间的关系模式，不过，在大数据中，这种把握的技术变了，需要运用数据挖掘技术。如今的学术研究，还没有运用到PB级数据。社会学的研究，运用的基本上是大数据中的数据，访员不再向调查对象去搜集数据，而是向数据（机器）搜集数据。2013年，哈佛大学的G.King教授做了一项研究，从社交媒体获得数据来看中国沉默的表达，他从1382个社交媒体网上，运用网络爬虫获取数据，是大数据中的数据。2012年“谁在开网店？”调查中，使用的是淘宝600万个店家数据中的1%店家数据，也是大数据中的数据。

大数据中的数据

大数据来自于哪里？大数据的第一个来源，是传感器。人类社会的对传感器的运用，2005年只有1.3亿个，到2010年就发展到了30亿个，今天，大概有45亿个。什么叫传感器呢？广义地讲，任何可以监测、数据化、传输的工具，都是传感器，手机、手环、大街上的探头等，都是传感器。大数据的第二个来源，是互联网。谷歌每天要处理大约24PB的数据，百度每天大概新增10TB的数据。大数据的第三个来源，是社交网络。像Facebook每天要处理23TB的数据，Twitter每天处理7TB，腾讯每日新增加200-300TB的数据，中国电信大概每天也有10TB的话单，30个TB的上网日制和100TB的信令数据。还有，如金融、零售、科研以及政府等部门的数据。譬如，每个交易周期，纽约证券交易所要捕获1TB的交易信息。淘宝每日订单超过1000万，阿里巴巴已经积累的数据量超过100个PB。

大数据已经来临据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到40ZB

（40,000,000PB），20个月翻一番。

大数据带来的挑战大数据带来的第一个挑战就是还要不要调查数据。事实上，对调查数据的挑战，取决于对调查数据的替代程度和扩大程度。相对于大数据而言，调查数据，就是小数据。大数据与小数据有一个交集，两种数据交集重叠的部分会怎么样增长，取决于两个因素，一个是传感器技术的发展，一是数据挖掘的算法技术的发展，这两项技术未来的发展，直接影响到社会科学未来发展的走向。对于调查数据来说，比如说人口普查，健康调查之类的，这些调查到底干什么呢？对个体研究而言，他研究人的行为、健康、教育、成就、幸福；对于群体而言，研究群体的行动，结构和动态；对于社会而言，研究社会的状态和动态，这些研究未来有没有可能用大数据来替代？完全有可能，如果数据整合能够实现，替代的速度可能还很快！

大数据带来的挑战例如，微信社交网，就是人的人情网络或人际网络；淘宝就是生活网；还有交通网，工作网，健康网。大家手腕上戴的自动化手环、手机、电脑、家用电器等，这些设备如果互联互通，也会形成巨量的数据。用《信息简史》一书中的一句话来概括：万物皆比特。数据就在那儿，问题是怎么用。未来，社会学研究对数据的利用，取决于数据化覆盖的范围。第一个覆盖的是教育，在线教育；第二个是健康，未来的健康将是完全数据化的健康；第三个是物联网，所有的器物之间连通、数据化；还有硬件、工程项目、制造、农业、金融等等领域，都将被数据化。既然各行各业都被数据化了，那么，大数据给社会学研究带来的第一个挑战就是：“社会研究还需要调查吗？”对这个问题，有两个点值得探讨——转换和替代。第一个是转换数据，第二个转换思维。数据的来源已经完全变了，需要调查的东西越来越少。替代，未来也有可能完全不需要做大规模调查，调查的重要性会越来越低，这是一个大趋势。

大数据带来的挑战第二个挑战，社会学研究范式还有用吗？在《大数据时代》中，作者提到过去的研究范式是抽样、精确、因果。这三个过去为之努力奋斗的范式可能面临着革命性的转变。一个看法，运用调查数据做研究，是假设检验进行推论；运用大数据做研究，是通过数据进行总体归纳；方法上的确是一个本质的转换。自然科学用重复检验，社会科学没有重复检验的条件，只能做假设检验。如果数据归纳在迭代中能够满足重复检验的条件，是不是就会真正地“科学化”呢？目前，至少有一点是可以肯定的，那就是大数据研究的范式重在发现，而不是重在推论，社会研究的基本目标方向没有变，还是要把握事物之间的关系模式。

大数据时代的挑战大数据挖掘大数据的分析是从数据挖掘开始的，运用的是数据挖掘技术。数据挖掘，就是发现有意义的模式和规则。挖掘，是大数据分析的基本策略，不是具体方法。大数据挖掘有一些基本步骤：首先是属性归类；归类之后再降维、降低容量；降维、降容之后，就是结构化的数据了，跟调查数据差不多；接下来，就是从数据中发现模式。因此，大数据分析至少有4个步骤：第一，拿到数据使用权；第二，在高性能计算system中降维降容；第三，获取可分析数据；第四，进行分析（模式发现）。降维降容之后的，就是集成的数据；接下来是进行数据选择，数据变换；完成变换后的数据，就是可以用于模式发现的数据了，通过建模，机器学习、发现模式，评估模式，直到获得稳定的模式，那就是知识表达。其中，数据挖掘，跟社会学研究一样，有描述性挖掘，也有预测性挖掘。描述性挖掘，同样是探讨特征、探讨社会事物的属性；预测性研究，同样是探讨变量之间的关系。大数据挖掘模型对大数据进行描述性研究，需要做四个方面的工作：第一个是做特征分析，点分析；第二个是做关联分析，双变量和多变量的关联分析；第三个是做聚类分析，聚类主要是做多特征的综合聚类；最后做离群点分析。利用大数据进行预测分析的基础不是理论建模，而是数据建模。数据建模不同于统计建模和数学建模。统计建模基本上是基于理论的建模，数据建模是基于数据归纳的建模，这是两者最重要的区别。基本模型可以分成两大类，一是分类模型，一是回归模型。分类模型讲类别、讲特征值；回归模型做预测。大数据挖掘模型

自然科学角度看大数据

自然科学角度看大数据大数据很忠诚，它真实记录人们的每个足迹，深藏功与名；大数据很任性，它的分析有根有据，拒绝流言蜚语；大数据很友好，它提供各种权威参考，它创造绿色经济，让我们的生活更美好。世界已经进入由数据主导的“大时代”我们生活在一个充满“数据”的时代，打电话、用微博、聊QQ、刷微信，阅读、购物、看病、旅游，都在不断产生新数据，“堆砌”着数据大厦。数字化的自我纳米构造&重构大数据什么都知道，令人没有隐私你最近手头不宽裕你可能会得高血压你两年后可能会买车特别讨厌某个明星喜欢日本爱情动作片是一个爱国的屌丝旧手机坏了刚买了新的女朋友有了一个新手提包从商业角度而言，大数据就是淘宝每天的交易，就是QQ上的聊天，是微博所产生的垃圾，是Google上跑着的关键词，是陌陌上的搭讪。城市感官啤酒&尿And布飓风&蛋挞沃尔玛在上个世纪创造的啤酒与尿布的适当性销售是一个典型的营销案例，但类似的案例不止这一个，飓风和蛋挞也是沃尔玛基于大数据分析之后的一个又很成功的营销案例。啤酒和尿布、星期五、男人、小孩飓风和蛋挞，躲在家里吃蛋挞基因组曲线大数据的配套硬件及技术基础大数据的配套硬件及技术基础大数据的新思维（一）大数据的新方法学（一）大数据的新思维（二）大数据的新方法学（二）Infrastructure-as-a-Service（基础设施即服务）Platform-as-a-Service（整体平台即服务）Software-as-a-Service（软件即服务）Data-as-a-service（数据即服务）学术界对大数据的研究学术研究图计算文字计算图像挖掘并行处理企业界大数据时代发展策略谷歌微软华为百度开发了GFS（Googlefilesystem），通过数据分块、追加更新等方式方法实现了海量数据的高效存储开发了Bigtable数据库，通过建立多维稀疏排序表，形成三维结构，实现了分布式数据库的大数据存储开发了Dremel，通过结合列存储和多层次的查询树，实现了极短时间内的海量数据分析模仿GFS开发了Cosmos，用来支撑其搜索、广告等业务提出了Dryad的数据处理模型，用来构建支持有向无环图类型数据流的并行程序2012年6月，成立了诺亚方舟实验室，目标致力于从大数据到大数智化的远景，主要围绕数据挖掘和人工自动化展开研究，通过人工自动化和数据挖掘技术来抓住大数据时代历史机遇2012年9月，推出了X位一体的大数据解决整体方案和大数据存储产品，通过融合，实现了多样化数据统一存储、分析、备份和归档，解决了信息孤岛，也解决了随着业务的发展，对量和性能不断拔高的需求在数据层面，所有的整体平台数据已经形成了一个数据集合体，将消费者从需求、搜索、购买，到使用和分享的整个心路历程全程记录在分析工具方面，已经建成了包括百度指数、司南、风云榜、数据研究中心以和百度统计在内的五大数据体系整体平台，帮助企业实时了解消费者行为、兴趣变化，以及行业发展状况、市场动态和趋势、竞争对手动向等信息，以便适时调整营销策略大数据领域重要数据入口大数据领域重要数据入口大数据领域重要数据入口目录

一、大数据的概念及特征二、大数据应用三、政务大数据四、城市管理中的大数据五、“96310”三高数据分析六、感知数据驱动的高峰勤务模式大数据时代数据的3个特点价值性多源性碎片性技术能力广度信息聚合深度数据计算趋势分析预测大数据技术相关应用的3个能力【案例】：最早关于大数据的故事，发生在美国第二大的超市塔吉特百货公司。为了吸引孕妇这一含金量很高的群体，塔吉特要求顾客数据分析部建立模型以期在孕妇第2个妊娠期就把她们确认出来。通过对顾客消费数据建模分析，顾客数据分析部选出25种典型商品的消费数据构建"怀孕预测指数"，可以在很小的误差范围内预测顾客的怀孕情况，便能早早把孕妇优惠广告寄给顾客。全球零售业的巨头沃尔玛也通过大数据获益。公司在对消费者购物行为进行分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是推出了将啤酒和尿布捆绑销售的促销手段。如今，这一"啤酒＋尿布"的数据分析成果也成了大数据技术相关应用的经典案例。大数据相关应用大数据相关应用大数据相关应用大数据相关应用【案例一】：保险行业利用驾驶员驾驶信息来确定车险价格国外的保险公司在给用户进行车险报价时，需要参考汽车自身存储的OBD（车载诊断system）信息，其记录了驾驶员的驾驶习惯，例如是否经常紧急刹车，是否经常瞬间加速等。保险公司会依据客户的驾驶习惯来定义车主的保险产品等级，良好驾驶习惯的车主，其车险价格就较低，反之则车险价格就较高。大数据相关应用【案例二】："博时淘金100"是博时基金和阿里共同成立的基金，依托蚂蚁金服提供的海量电商交易数据(包括买卖家数量变化、商品价格变化、成交量变化等)，对用户需求，企业产品、行业成长进行分析，从预测适当行业和企业景气度。分析结果结合博时基金多因子量化投资模型，指导基金经理进行股票投资。大数据相关应用目前，我国大数据产业正处于高速发展期，多种商业模式得到市场印证，新产品和服务不断推出，细分市场走向差异化竞争。大数据产业在全球七大重点领域内（包括教育、交通、消费、电力、能源、大健康以及金融），大数据的相关应用价值预计在32200-53900亿美元之间。大数据产业大数据产业链由以数据产品为中心的纵向结构与以大数据技术为中心的横向结构结成一个"T"型价值链结构。大数据产业企业竞争力大数据垂直行业云计算数据服务大数据产业集群数智化城市商业模式目录

一、大数据的概念及特征二、大数据应用三、政务大数据四、城市管理中的大数据五、“96310”三高数据分析六、感知数据驱动的高峰勤务模式电子政务大数据政府所拥有和使用的大数据：政务大数据公共大数据政务大数据定义为：通过行政手段依法获取、并用于政务活动的大数据。其他大数据为公共大数据。政务大数据政务大数据独特特性真实性。政务大数据是在依法行政的许可下采集的，任何被采集对象有义务如实地填报各项调查数据，因此数据要求是真实准确的，并具有法律效用。原始性。政务大数据不论是一次采集还是多次采集，均直接来源于企业、家庭或个人，都是最为原始可靠的数据采集。完整性。政府部门为了完成一项或几项工作开展数据采集工作，采集的目的和采集的范围都是非常明确的，不可能因为数据采集缺失而影响工作，必须努力保证所采集数据对于该项工作的完成是完整的。公正性。政务数据采集所涉及到的社会组织或个人，都必须履行义务接受采集，没有任何组织或个人可以随意拒绝，如国家开展的经济普查和人口普查。另外需要保证数据的安全性，非行政授权不可使用政务数据，不可以超范围使用政务数据。可持续性。政务数据可以根据业务需要定时、定期采集，如社保信息等。也可以根据需要经授权后随时获取，确保业务的持续性。可处理性。政务数据是政府部门为了履行行政职能而采集的，数据的内在关系是明确的，数据结构是合理的，肯定是可以和便于机器自动处理的。可开放性。政务数据是政务部门在依法行政下获取的，政务数据属于人民，任何机构或组织和个人不得据为私有，在确保国家安全、组织或个人的隐私与利益不受侵害的前提下，可以依法开放。任何机构、组织或个人也有权向相关部门提出获得和使用数据的申请。政务大数据的特征政务大数据在政务活动中的相关应用政务大数据用于科学决策政府是国家进行行政管理的机构，行政决策是法律赋予的职责。决策的对错、决策的质量和实施的效率如何，决定着一个国家的兴衰成败和人民大众的安危祸福。有资料称：“新中国建立以来，在大约2万多亿元的总投资中，因决策失误造成的浪费至少有1万亿元”。“七五”到“八五”期间，我国投资决策重大失误率在30％以上，资金浪费及经济损失大约在4000亿元－5000亿元。由此可见，在正确的决策机制下按照科学发展观做出正确的决策是多么的重要。正确的决策一定是建立在对事物的正确认知和掌握事物的内在的规律基础之上，而政务大数据政务大数据的首要用途无疑是用于决策，高效的决策是建立在对对象的客观全面了解基础之上的，大数据的应用恰当地为此提供了重要支持。11.数据辅助决策成为当前信息化重点工作日常办公自动化业务流程信息化管理决策信息化199020002010数据辅助决策2.管控决策信息化的本质：数据支撑决策数据辅助决策3.数据到决策的三个主要问题数据辅助决策政务大数据在政务活动中的相关应用政务大数据用于精细化管理政府部门作为社会的行政管理机构肩负着社会管理的职能，用精细化管理替代以往的粗放式管理是社会各界对政府部门的普遍要求。所谓精细化管理要求各项管理工作要在时间与空间上做到精确定位、细化目标、精益求精、细化考核。精细化管理基础是用具体、明确的量化标准取代笼统、模糊的管理要求，把抽象的战略、决策，转化为具体的、明确的工作目标和考核标准。政府管理部门已经掌握了海量的管理数据，采用大数据技术开展数据驱动的社会管理，通过政府的各项职能程序化、标准化、数据化，实现社会管理从粗放式向精细化的转变。2政务大数据在政务活动中的相关应用政务大数据用于精准化社会服务首先要做的是及时地知道并精确定位什么是群众最关心和最迫切的问题，政务大数据是解决这个问题最有力、最有效的工具。通过政务大数据的分析，政府部门可以深入了解大到整个社会、小到一个家庭甚至是某个人对公共服务的需求，并提供个性化的精准性服务。同时，利用政务大数据可以更加准确地了解和掌握社情及舆情，能够准确地预见事物的发展态势及规律，使政府部门能够提供精确、高效、及时、周到和个性化的服务，促进国家和社会的发展，提高人民生活的快乐指数。政府部门在利用政务大数据推进信息惠民的同时更要引导社会力量使用公共大数据全面开展专业化、多元化、个性化的服务，形成优势互补、多元参与、开放竞争的发展格局。3国内外政府对大数据的政策美国英国澳大利亚中国2009年，推出美国政府大数据网站

2011年，提出了国际化的开源政府计划2012年3月29日，白宫科技政策办公室发布了《大数据研究和发展计划》2013年5月3日，英国首个综合运用大数据技术的医药卫生科研机构“李嘉诚卫生信息与发现中心”在牛津大学正式揭牌英国政府的政务大数据公开“OpenData”相关项目最为成功2013年3月14日，澳大利亚政府信息管控办公室（AGIMO）计划发布大数据议题，收集来自行业与公众的反馈信息2013年05月出台大数据战略草案2012年12月，国家发改委数据分析软件开发和服务列入专项指南2013年科技部将大数据列入973基础研究计划2013年度国家自然基金指南，管控学部、信息学部和数理学部将大数据列入其中2015年9月，国务院发布《促进大数据发展行动纲要》“十三五”规划建议提出:“实施国家大数据战略,推进数据资源开放共享国内外政府对大数据的政策大数据产业政策大数据

政府管控创新离不开信息资源汇聚、整合、挖掘和可视化展示为电子政务中信息资源开发利用带来了新的机遇汇集、关联、挖掘数据让数据服务决策政府管控创新需求科学政府……高效政府阳光政府创新需求廉洁政府服务政府相关应用价值信息聚合推动决策数据化扁平网络推动管理高效化数据开放推动执政阳光化个体预测推动服务个性化大数据在政府管控创新中的4大相关应用价值CompanyLogo价值一:信息聚合推动决策数据化数据大数据分析技术科学决策基于数据分析的决策大数据在政府管控创新中的4大相关应用价值CompanyLogo价值二:扁平网络推动管控高效化大数据在政府管控创新中的4大相关应用价值大数据在政府管控创新中的4大相关应用价值价值四:个体预测推动服务个性化大数据在政府管控创新中的4大相关应用价值目录

一、大数据的概念及特征二、大数据应用三、政务大数据四、城市管理中的大数据五、“96310”三高数据分析六、感知数据驱动的高峰勤务模式显而易见，既然被称为“大数据”，就是相对于“小数据”的概念而言的。在过去很长一段时间，城市管控领域的数据概念主要集中在城市管控者从主观出发、收集和记录的各类数据信息，包括诸如某次整治中出动的人员、车辆，查处的违法形态、罚款的金额等等。尽管这些数据的确有一定的参考价值，但却不能客观全面的反映城市管控的现状和水平。传统的政府管控模式在大量的数据面前早已无法适应，亟待转型升级，一个最重要的手段，就是充分利用“大数据”的信息资源。尽管“大数据”主要内容丰富、包罗万象，但简言之，凡是与城市管控有关的数据、信息、资料，都可以看作是城市管控的“大数据”，包括各类文字、数字、表格、信息、图像、轨迹、视频音频资料等什么是城市管控的“大数据”？城市管控大数据类型数据构成形式结构化数据非结构数据半结构化数据城市管控数据构成形式结构化数据：指存储在数据库里，可以用二维表结构（比如EXCEL表格形式）来进行统计分析和展示的数据。例如通过定期收集汇总形成的城管巡查数据、立案执法数据、勤务报备数据等。这类数据的储存形式均为电子化数据，可以使用数据分析软件进行简单处理后，提供占比、上升下降幅度、变化趋势等基本信息。其优势在于数据结构简单、一目了然，但也正因如此，可供深层次发掘提取的隐含信息量有限。非结构化数据：相对于结构化数据而言，指那些难以用固定的格式进行分析处理的数据。例如某次执法留存的影像记录或录音、微博等社交网站上关于城市管控的记录，新闻媒体的报道、通过GPS定位system记录的执法车辆轨迹等。这些数据有图片、有视频、有音频、有文本、有网页，具有很强的混杂行，无法清楚的分类，从技术角度来说，这类数据保存占用更大的空间，同时无法用类似搜素关键词这样的简单手段进行处理，需要从科技的角度探索更新、更为人工自动化的处理手段。尽管非结构化数据更多的以“碎片化”的形式存在，但由于从中可以挖掘出大量主要内容丰富的隐藏信息，因此，在未来将比结构化数据更有价值。正如谷歌公司人工自动化方面的专家所说，“大数据基础上的简单算法比小数据基础上的复杂算法更加有效。”城市管控数据构成形式半结构化数据：介于结构化数据和非结构化数据之间。一方面，半结构化数据中有部分信息可以通过结构化的形式展现，但另一方面仍有大量的信息蕴藏在其中，需要通过人工手段进行挖掘。例如96310城管热线system中记录的数据，其中可以通过结构化的形式反映来电的时间、号码、反映的违法形态以及位置信息等主要内容，但同样记录了来电通话的音频资料，而通过进一步调取音频资料信息，同样可以挖掘出很多结构化数据难以反映的信息。例如，来电人的情绪如何、受理人员的解答是否到位等等。城市管控数据构成形式数据存储方式电子化数据非电子化数据城市管控大数据类型电子化数据：指基于计算机相关应用、通信和现代管控技术等电子化技术手段形成的各种资料，简言之，是通过计算机等电子设备记录、存储、处理的信息资料的总和。随着科学技术的普及和发展，现阶段收集的城市管控信息中，大量的数据都是以电子化的形式保存和处理的，例如视频监控探头记录的录像信息、基层执法队员通过巡查监控system报送的执法数据等。城市管控数据存储方式方法非电子化数据：相对于电子化数据而言，是那些没有被“电子化”的数据，更多的仍以传统纸张为介质保存的数据信息，多为反映以往工作的历史性数据。比如未推行电子化办公前的各类档案，以及立案处罚决定文本、大量的一线执法记录、工作记录等数据。这类数据信息量大，但由于未进行电子化处理，更多体现的是存档价值，统计调阅困难，难以为数据分析提供实质性帮助。城市管控数据存储方式方法数据分析的时效性实时分析数据离线分析数据城市管控大数据类型实时分析数据的一个重要特性就是实时性，生成的数据可以进行同步分析处理，比如热线受理的数据信息，在工作人员接听电话的同时就可以进行具体主要内容的记录、违法地点的坐标标记以及热线单据的派发。另外，如带有GPS定位system的执法车辆在电子地图上的运行轨迹、执法车辆视频回传system等生成的数据都可以看作实时数据。此类数据时效性强，在应对突发事件的过程中能够快速反映，但在技术支持层面的要求较高。城市管控数据分析时效性离线分析数据，这里我们主要指那些相对于实时数据而言，信息记录和处理时效性不强的数据。不仅包含那些沉积在网络缓存区域的数据，例如过往的视频监控视频记录信息，也包括大量没有第一时间进行分析、比对的数据信息。例如某次专项执法行动过后适当部门报送的执法数据信息。目前城管system数据受理分析中绝大多数都属于离线分析数据，真正意义上的实时数据分析处理在日常工作中发挥的作用并不显著。尽管如此，在大数据的视野下，这两种数据并没有高下之分，只要能够创造性的进行分析，很多已有的历史数据同样能够发挥新的价值。城市管控数据分析时效性城市管控“大数据”（1）城市基础信息数据正如我们此前所说过的，凡是同城市管控有关的数据、信息、资料，都可以看作是城市管控的“大数据”，而在大数据时代的背景之下，要想充分挖掘数据背后隐藏的价值，基础性的数据信息就显得尤为重要。对于城市管控来说，只有先搞清楚城市的现状，才能下一步研究如何进行治理。城市基础信息数据应当包括行政区划设置、面积、人口、城市规划、交通、环保，以及水气热等公共服务数据信息，这些数据同城市日常运行密不可分，客观反映城市当前所处的状态。包罗万象城市管控“大数据”（2）城管执法采集数据除了城市基础信息数据之外，日常中掌握的大量数据都是城管system在实际工作中积累的数据信息，主要涉及城市管控执法的方方面面，涵盖了保障工作指标、队伍建设指标、执法工作指标等多个领域。从数据的构成形式上来看，主要可以分为：城市管控主体类城市管控对象类其他类城市管控“大数据”【城市管控主体类】主要反映执法主体方面的数据信息和基本要素，包括城管system内部的人、财、物等多方面的信息。A.执法人员数据——system和市局两个层面的编制人数、协管员人数、职数设置、男女比例、平均年龄、学历水平等信息，除了基本的人员资料信息之外，执法人员信息数据还包括任职的详尽信息、政治面貌、工会资料以及适当人员的培训记录等主要内容。B.财务经费数据——市级（未来可延伸到区级）财政拨款、资金使用状况、经费审计报告等主要内容。城市管控“大数据”【城市管控主体类】C.资产装备数据——市局及各分局的办公地点、现有装备和固定资产信息等主要内容。特别是随着城市管控信息化的普及，执法车辆、PDA执法终端、GPS定位system、执法记录仪、自建和共享的视频监控探头等用于执法的取证设备，由于其在日常执法过程中发挥日益重要的作用，具体的保有信息也成为不可缺少的资产装备信息数据。D.勤务报备数据——市区两级一线执法队伍实时的执勤动态数据、出勤比例、执法力量执法车辆在不同地区的分布以及行进轨迹等信息。城市管控“大数据”【城市管控对象类】主要反映执法对象和目标方面的数据信息和基本要素，既包括具体的违法形态信息，也包括相对人的具体资料。从获取方式方法上，可以分为内部获取和外部获取两种。城市管控“大数据”内部获取数据主要是指通过城管system的日常工作，自己掌握的日常执法、督察工作的数据、信息、资料等。市区两级立案处罚案件数、罚款金额、不同类型专项执法的数据、适当部门联合执法的数据等通过主动作为掌握的适当信息。巡查、执法数据巡查数据执法数据城市管控“大数据”内部获取数据环境感知数据自建的400路摄像头从公安接入的16000路摄像头工地噪声感知数据扬尘感知数据执法资源感知数据执法车位置感知执法人员的位置感知城管地图数据网格专题图层城市管控“大数据”内部获取数据督察检查数据——system督察部门日常检查和考核收集的信息、综合监管数据信息、向各有关单位发放的反馈单、移送案件的信息详情等。绩效考核数据——结合考评办法和实施细则定期开展的综合评议信息。城市管控“大数据”内部获取数据指挥调度数据——针对领导交办、群众来电、视频监控发现问题进行的指挥调度数据信息。应急处突数据——大型活动保障、突发事件应急、极端天气应对等紧急事件的适当处置信息。城市管控“大数据”外部获取数据主要指通过外部监督或其他非system内部途径掌握的反映城市管控现状的信息和要素，通常通过领导督办、媒体报道、热线信访等途径获取。话务总量和不同违法形态的举报量、同比环比分析、热线满意度调查等数据信息。以96310热线为代表的公共服务数据举报投诉、咨询建议、表扬处置、反馈、回访城市管控“大数据”外部获取数据信访排查数据——市区两级群众来信来访反映的信息、适当单位移转的群众意见建议等主要内容。媒体舆论数据——同城市管控有关的新闻、报道、评论、微博微信等网络舆情信息。社交网络信息微博新闻报道城市管控“大数据”【其他类】此类数据并不直接反映工作业务，但其中蕴藏的信息对于工作具有指导和参考价值。暴力抗法数据——执法过程中遭遇相对人暴力抗法的信息。执法风纪数据——针对system执法人员执法违规、不作为、廉洁类等风纪问题的数据信息。依法行政数据——城管system行政复议、行政诉讼、案卷评查等数据信息。机关行政数据——机关运行中办文、办会、办事、调研等适当信息。城管办公数据城管官网城管OA数据的广泛性数据的异构性数据的时空性数据的高增长性数据的定期保存性数据的开放性……城管大数据的特点大数据在城管中的相关应用城市环境秩序的综合感知和自动化分析（视频监控、舆情分析）单点的感知和分析不同手段的感知和分析区域、全局的感知和分析基于位置和信息的城管资源部署和调配不同时期、不同区域的城管资源的部署紧急状况下城管资源的部署和调配应急状态下的指挥和决策应急处理整体方案城管监察多部门的协调、协同目前，我国在大数据分析技术和产品方面与发达国家相比差距不小。在城市管控方面，在数据存储与共享方面重视不够。一些部门和机构拥有大量数据，但以邻为壑，宁愿自己不用也不愿意提供给有关部门共享，导致信息不完整或重复投资，需要通过体制机制的改革来打破数据的割据与封锁，也是大数据给城市管控带来的机遇。城管大数据共享的前提是城管数据的标准化。需要保证适当数据的真实性和可信性，特别是数据对于处理纠纷和事故具有法律意义。人才问题。麦肯锡预测美国2018年深度数据分析人才缺口14-19万人，还需要既熟悉需求和技术相关应用的管控者150万人。城管大数据的挑战目录

一、大数据的概念及特征二、大数据应用三、政务大数据四、城市管理中的大数据五、“96310”三高数据分析六、感知数据驱动的高峰勤务模式“96310”三高数据分析尽管热线举报的数据积累已经持续了10年，但从目前来看，严格意义上说，这种分析还不能称之为“大数据”的分析方式方法。原因在于，热线数据量信息虽大，但却