活在大数据时代55.ppt

世界哪个城市的女人最漂亮 世界十大美女城市排行榜 1 阿姆斯特丹 荷兰 2 特拉维夫 以色列 3 蒙特利尔 加拿大 4 加拉加斯 委内瑞拉 5 莫斯科 俄罗斯 为什么该地的美女会如此吸引男性 这里的美女行走在街道上90 宁愿骑自行车而不愿坐汽车 构成一道道亮丽的风景线 荷兰美女运动能力较强 活力十足 衣着时尚 相当开放 大胆 平均每位女性熟练两种体育运动 有了更多数据你可以知道些事情 而这些事情在你只有少量数据时你是无法知道的 大数据 时代 为何选取这个话题 1 Very HOT Can tOut 2 Very Useful 什么是大数据 大数据新在何处 为什么今天有这么多数据 大数据的阴暗面 大数据在城市规划中的应用 什么是大数据 Hadoop IBM 英特尔 HP 巨量资料 商业智能 数据库 服务器 SAPHANA 预测 数据流 运算节点 机器学习 并行计算 磁盘阵列 甲骨文 AMD 内存计算 Google Mapreduce 可视化 Gb Pb 大数据 bigdata 或称巨量资料 指的是所涉及的资料量规模巨大到无法透过目前主流软件工具 在合理时间内达到撷取 管理 处理 并整理成为帮助企业经营决策更积极目的的资讯 大数据的特点 4V 海量 高速 多样 精确 1KB 1024字节 存储单位 1MB 1024KB 1GB 1024MB 1TB 1024GB 1PB 1024TB 1 048 576GB 1EB 1024PB 1 073 741 824GB 1ZB 1024EB 1 099 511 627 776GB 小知识 Volume海量 2009年5000条微博更新 天2010年30万条微博更新 天2011年250万条微博更新 天2012年3500万条微博更新 天2013年2亿条微博更新 天2014年4亿条微博更新 天 2014年上传时长12年的视频 天 2014年用户分享25亿条信息 天 我国一个一线城市的健康档案数据5PB 年我国一个智慧城市的数据800PB 年 一个单数据表几亿 几百亿条记录下线商品14亿件 在线商品8亿件淘宝数据库存了20PB数据平均每月增加1 5PB 智能移动终端设备的巨量增长 Volume海量 Velocity高速 6000万用户登录 天20亿次页面访问 天每天1 2亿次网站访问响应时间小于100毫秒 由于输入速度加快 所以要求输出速度也要加快 大数据的惊人不止是在数量上 同时数据还是巨量具有动态分析价值的数据 访问响应时间的加快 数据库读写速度的加快 对电商企业来说就等于多成交 对于很多情况下 动态的数据价值远大于静态数据 比如气象预测 灾难预测 快消行业等 Variety多样 结构化数据 半结构化数据 非结构化数据 指关系型数据表 指关系结构与内容混合在一起的数据类型 文档 视频 音频 图片 20 结构化80非结构化 企业数据 2012年互联网产生的数据 25 结构化75非结构化 Veracity准确 大数据的核心思想之一 准确源自于对全部数据的处理分析 基础数据的真实准确性 才能保证结果的有效性 大数据新在何处 重在何处呢 古代盘VS现代盘 克里特岛发现的粘土盘有4000年的历史 非常笨重 不能记录太多的信息 所记录的信息是不能更改的与此相反爱德华 斯诺登从美国国家安全局所获得的文件可以放在一个仅有指甲大小的存储盘里并且可以以光速进行数据共享更多数据更多 为什么今天有这么多数据 一个原因是我们一直在收集信息 就像我们一直在做的一样 另一个原因是我们记录了许多蕴含丰富信息的事物 但是从没把信息转换成数据形式 定位问题 在16世纪我们想知道马丁 路德在哪里 该怎么做 那现今又是什么样的情形呢 再举个例子 坐姿 那我们能用它来干什么呢 位置信息被数据化了 那我们能用它来干什么呢 东京的研究者把它运用在一个汽车防盗设施的雏形上 它的设想是盗贼坐在驾驶座上企图把车开走 但是汽车识别出驾驶座上的是个未授权驾驶人 那汽车可能就会熄火除非你在仪表盘上输入密码来表明 我已获得授权 这就是生活的更多方面数据化后我们能做的事情中的一件 大数据的核心工作思路 大数据系统颠覆了传统数据中心的工作逻辑 传统数据系统工作逻辑 运算系统调动数据库的数据 数据的移动 大数据系统工作逻辑 运算系统直接部署至数据处 数据仅架构内移动 那么大数据的价值在哪里 在运用这个概念的领域里 让人印象最为深刻的是机器学习 机器学习的理念现在已经随处可见 无人驾驶 机器学习是许多网上在线应用的基础 搜索引擎算法 语音智能翻译 大数据的阴暗面 大数据会偷走我们的工作 在21世纪 大数据和算法会威胁到白领和需要专业知识的工作 就像在20世纪工厂自动化和装配生产线的应用威胁到了蓝领们的工作岗位 同时 老实说 我们并不能很好地处理所有的我们现在能够收集到的数据 这不仅仅是国家安全局的问题 许多企业也搜集并不恰当地使用数据 大数据会偷走我们的工作 在21世纪 大数据和算法会威胁到白领和需要专业知识的工作 就像在20世纪工厂自动化和装配生产线的应用威胁到了蓝领们的工作岗位 同时 老实说 我们并不能很好地处理所有的我们现在能够收集到的数据 这不仅仅是国家安全局的问题 许多企业也搜集并不恰当地使用数据 大数据只是一种资源与工具 它告知信息但不解释 它指导人们去理解 也会引起误解 它只不过是过去的现实投影 洞穴里的古老壁画 而且还只是对过去残缺不全的信息统计 用这些信息推出的预测跟猜在概率上区别不大 大数据绝对不是答案 只是参考 在国内估计更多的用来事前忽悠 事后吹嘘 搞砸后推卸责任 数据不会说谎 但人性复杂 大数据在城市规划中的应用 城市规划中的大数据 而今 社会经济的快速发展促使机动车辆的数量大幅增加 城镇化的加速打破了城市道路系统的均衡状态 传统的交通管理信息系统难以满足当前复杂的交通需求 对当前的城乡交通基础设施提出了新的要求 大数据对城乡区域交通基础设施有积极的推动作用 我们可以应用大数据来减小交通堵塞 处理恶劣天气的道路状况 以评估对关键路线的道路进行清理所要耗费的时间 从而提高处理道路状况的效率 这样就能减少了冬季连环撞车事故发生概率 通过提高公共安全来确保商业正常运行和日常生活有序 我们还能应用大数据评估路况 以评估出公路改善的实施战略和须改善的路段位置 与过去一味的扩大基础设施建设来改善交通 应用大数据解决现有的交通问题不仅可以降低管理成本 提高功效 而且还有益于城市交通管理的规范化 传统空间数据的再组织 对于本来具有空间属性的地形图等数据 已经有成熟的方法将其配准和建库 除了直接浏览之外 也有大量的方法基于遥感影像进行城市规划的分析 除了常规的建设用地边界识别和扩张分析 植被 生态要素识别以外 近年来通过灯光遥感判别城镇化程度和经济发展水平的实践也较多 统计年鉴数据库 对于统计年鉴大数据 可以使用webGIS技术将各级行政边界与其统计数据进行连接 形成可以查询和可视化的年鉴空间数据库 在此基础上加入基于web的区域分析模型 则可以将原来复杂的GIS空间分析和专题图制作变成简单的web操作 现场调研工具 现场调研是城市规划师主动采集数据的最重要环节 而其成果往往是绘制在纸质地形图上的各种图文信息 还有相机拍摄的照片 从现场返回后 这些数据往往要耗费大量的人力重新数字化整理 并与地形图等空间信息对应 为此 开发商基于智能手机和平板电脑等移动终端开发了规划现场调研APP 可以现场通过GPS定位 调取所在位置的相关图纸 并记录所在位置的照片 录音录像和文字标记 甚至绘制和编辑矢量信息 基本实现了传统调研所有纸面工作的电子化 调研结束后 项目组成员可以通过网络将信息上传至共同的服务器 汇总成地理信息系统的基础数据集 为后续的各种数据工作打下良好的基础 智慧城市的感知数据 随着大数据城市建设的开展 物联网技术使我们可以通过无处不在的传感器和传感网了解城市各个系统的实时运行状态 包括电网的运行 每条道路的车速和流量 甚至每个个人的位置和行为 通过这些数据的叠加和计算 我们可以对城市空间资源分配状态进行评估和干预 以往 知道一个城市的实际人口几乎是件不可能的事情 更不必说一个街区或者地块里到底生活着多少人 而在大数据时代 我们有越来越多的方法可以了解这些 开源地图的使用 互联网上大量开源地图信息为我们大大扩展了矢量空间信息的来源 开源地图信息主要包括各级道路网 三维数字高程模型DEM 具有平面和高度信息的2 5D建筑物 兴趣点POI 这些地图包含的空间信息某种程度上超过了传统的地形图 因此在城市研究中不但可以一定程度上代替地形图 还可以实现大量全新的分析方法 通过适当的算法 结合一些车辆和人的轨迹 行为数据 用这些POI信息可以大致计算所在地块的用地性质 以及功能混合的程度 如图所示 用信息熵模型对北京市域20多万个POI进行计算 计算出的用地混合程度 可以一定程度上表征城市的活力和中心体系 也能大致描述建成区的最新范围 如果地图数据中还包括了建筑的平面和层数 则可以估算城市各种功能建筑的总量 建筑密度 容积率等数据 这些数据也是空间句法等传统的分析模型很好的辅助 交通传感数据 智能交通是大数据在城市建设中最为广泛开展的实践 也是物联网建设最为成熟的领域 因此 城市政府和交通运营部门往往掌握着大量相关的交通传感数据 如果得到适当的挖掘和分析 可以很大程度代替城市规划传统的交通调查方式 并有更多的作用 可以支持从宏观到微观不同尺度的城市和规划研究 航班和铁路班次数据经过整理和挖掘 可以在城镇体系规划中描述城市间的关联程度 也可以描述城镇群的形态和发育程度 如图所示 我们利用全国航班时刻信息制作的城市间联系示意 京沪穗渝四极清晰可见 而在内蒙城镇体系规划中的应用 也能清晰描述包头和呼市各自的区域地位和联系方向 公交刷卡数据是大多数较大城市都可以获得的 其数据量极大 包含的信息丰富 但挖掘难度较大 其主要用途是提取通勤人口的OD信息 判断城市各功能区和组团之间的联系 尤其适合考察新城和中心城之间的通勤特征 由此判断其间的值住关联 长时间的数据积累 还可以通过同一用户的OD变化特征 收集人口居住和工作地迁移的情况等等 出租车的GPS轨迹也是比较常见的数据 由于其数量较大 分布均匀 足以作为所有车辆的样本考察 出租车轨迹除了OD信息外 还可以描述城市道路的实时车速 更复杂地 通过数据挖掘算法 还可以识别用地的性质和出行人口的行为特征 智能基础设施网络数据 智能电网 燃气网和水网也是早已成熟的技术 通过其传感网采集的精确到每家每户的使用数据 不仅能简化家庭缴费的程序 更能用来评估城市规划的效果和城市运行的状态 以智能电网为例 我们可以通过数据实时了解每个地块 变压器 的用地负荷曲线 根据曲线形态 可以推断其用地性质 根据负荷峰值和经验数值 可以估算其人口 产业容量 如果对曲线形态进行精细地分类 可以对居住人群和产业类别进行更精细的分类 移动通讯定位数据 移动通讯技术的发展 使移动运营商可以通过基站与用户间不间断的信令信息获得每个用户比较准确 通常精确到百米以内 的实时位置 由于用户数量巨大 几乎覆盖城市所有活跃人口 除了老人 儿童及少量特殊人群外 基本全部覆盖 可以说是描述城市人口数量和空间分布的 终极 数据 移动位置数据可以代替上述多种数据 通过人的位置 描述区域 城市 道路 用地的运行情况 在宏观上 通过长途电话话单描述城镇间联系强度是很传统的方法 现在我们可以直接通过人的迁移数据描述城镇间的关联 中观上 大量详细的移动轨迹可以代替传统的OD调查 而且通过目的地 运动的速度和轨迹可以挖掘其交通方式和出行类别 甚至进行特征人群的识别和行为分析 如学生 通勤人员 微观上 精确到用地的人口分布对公共设施和商业设施评价和选址的价值不可替代 通过交通方式的识别也可以对车速和道路使用状态进行评价和优化 如图所示 无锡基于手机信令数据的居民出行调查项目 来自公众参与平台与社交网络的数据 签到 是移动应用中越来越普遍的功能 通过抓取带有签到位置信息的微博或者照片 评论 并通过特定的自然语言分析等技术 可以获取人们对空间质量的评价 可以采集位置变化代表的用户移动的轨迹 进行某些特定的OD分析 如百度迁徙展示的春节期间的人口在城市间流动 也可以通过数据的密度和行为模式区别识别空间热点甚至用地性质 百度地图新推出的 热图 功能是很好的基于移动终端位置信息的城市研究工具 通过可视化所有调用百度定位接口APP用户的位置 展现城市人群的实时分布状态 通过工具逐时抓取和动态展示分析 可以描述各种城市功能区的使用状态 中心体系 职住分布 流动等信息 提供了难得的描述 人 而非物质空间形态的工具 总结 综上所述 大数据为城市规划转型提供了理想的公众参与平台和科研分析基础 随着技术的发展 一定还会出现新的理论指导大数据的应用 城市规划也会随之转型和发展 相对于传统的静态数据对应的多种时间尺度的未来规划 扩张规划 大数据使我们获得了一种非常适合稳态规划 或者说 细规划 的技术手段 当然 技术本身只提供了工具和手段 真正的公众参与 科学规划还需要城市规划从业者的不懈努力 以开放的态度 科学的精神去探索和钻研 真正发挥大数据的优势 推动行业的转型