Clss44课程笔记

1 Class44 基于路况及热力图数据的综合研究 课程笔记 来源 大鹏老师 大家好 这次大家将会接触城市级大数据之一 百度大数据的内容 在这里虽然热力图和路况都是以 PNG 格式 数据量不算海 量数据 但这两个数据的生成方式及源头 都是上亿级的手机端设备支持 城市中每个人只要安装了百度地图或者百度产品 在使 用相关 app 时候都会记录一个坐标位置及时间 通过这个百度公司在百度地图上呈现出了人口热力图和道路路况图 我们获得的这 两个数据本身只是图片数据 且数据的值也是图片的值 0 255 但相互之间的关系是蕴含了人口聚集 交通路况的信息的 比 如不同时刻的热力图 反映了人口聚集位置 我们通过这个结果数据来做研究 由于数据格式是没有坐标的 png 在处理数据时候需要大量的前期清理工作 目前大家使用的数据多为半小时 次的频率 故如何 做数据整理是今天会总结的主要内容 以及后续的分析办法 我会首先通过笔记整理 再加上第六次答疑直播来讲解一些高效的数 据处理方式 例如借助 modelbuidler 做数据清洗 首先 给大家总结一下数据清洗部分的内容 给大家爬取的数据一般分为三类 一张百度地图 png 作为爬取范围界定 n 张百度热 力图png n张百度路况图 png 爬取频率现在为半小时 次 部分时候可以 15min 次 数据清洗的主要部分就是给这些没有坐标的 png 附上坐标 我们通过 arcgis 中的 地理配准 来做 这里的 地理配准 本身并不是工具 是工具栏的一个功能 但同时 gis 也是有 相关工具的 工具位置为 data management tools 投影与变换 栅格 区分一下地理配准 和之前我们说的空间矫正的区别 这两个都是通过参考点来进行空间转换 不同的在于 地理配准针对栅格数 据 空间矫正针对矢量数据 且这里我均建议大家以至少 3 个参考点来做配准 这两个分析功能主要操作都很类似 只是参考链接 表的保存 加载及数据导出有略微不一样 对于 PNG 的对准步骤 我这里整体说一下 主要是先通过百度地图和 lsv 下载的城市影像图做配准 然后生成一个参考链接表 txt 文件 通过这个文件来配准后续所有 png 所以其实参考点选取只用进行 2 次即可 详细步骤为 LSV 下载城市影像图 并且投影成投影坐标系 百度地图 PNG 与投影后的城市影像图配准 矫正后导出 tif 格式的图片 随意一张热力图 路况图和已经矫正之后的百度地图做配准 生成链接表 txt 文件 并保存 通过 加载连接表 txt 来配准剩下所有 png 图片 整个过程除了最开始的百度地图的矫正和连接表 txt 生成过程中的矫正需要手动之外 其他的矫正直接用 txt 就好 这里也可以用 modelbuidler 来操作 我会通过直播来展示 第二个总结点 就是对于百度热力图的分析技巧总结 这里首先要给大家明确一个东西 png 和矫正之后的 tif 都是栅格数据 但这 里的栅格数据是一个多波段合成的数据 所以在数据加载的时候 大家可以看到数据旁边有个小加号 点开后是 band1 4 四个波 段 这里的栅格数据不是遥感数据 遥感数据为 6 7 个波段 四个波段分别是 R G B 的三个波段加一个 alpha 波段 R G B 波段 就是 ps 里面的 rgb 颜色 在处理热力图时 直接加载每个热力图的 band4 也就是 alpha 波段 加载后直接是一个 0 255 区间的颜色栅格数据 这里数据的 绝对值没有意义 但反映的相对结构是有意义的 值越大代表在这个时刻的人口聚集程度越高 同时两个百度热力图 band4 数据相 减可以直接得到两个不同时刻的人口变化情况 这里还要注意的是 在大家做数据可视化时候 点击符号系统的 已分类 有时候会提示 此数据集中没有分类方法所需的有效直方 图 运行 计算统计数据 工具以生成直方图 意思就是本身这个数据可能是一个合成栅格数据中的单个波段 直接导入的时候没 2 有给你计算数据的直方图 大家直接按照这个说法 找到 计算统计数据 工具直接计算一遍就好 工具位置 data management tools 栅格 栅格属性 计算统计工具 最后注意了 百度热力图数据只能反映出人口聚集的相对结构 且由于值的绝对值本身是 0 255 所以大家研究城市宏观区域 整 个市域 和研究较微观区域 例如一条街道 一个街镇区域 的时候 数据获取的区域本身应该不一样 如果用市域范围去爬数 据 但只研究小区域 会出现数据不够精确的情况 同时 百度热力数据是不能进行通勤计算的 这个我强调了多次了 因为百度热力数据只能反映空间人口聚集的结构 并不能反映 出 这个时刻的人具体去到哪里了 下个时刻人口增加了 是从哪里增加了 这些问题 大家记住了 第三个总结点 对于百度路况图的分析技巧总结 对于百度路况和百度热力的第一步数据空间矫正都是一样的 而后续的数据分析 开始不同 首先对于百度路况数据 本身是以红色 黄色及绿色三个颜色分别代表道路拥堵 较拥堵和通畅的 然而大家仔细看原 数据 PNG 会发现 路况的边缘位置会发生颜色渐变 比如绿色变成浅绿色 黄色和绿色的交界开始有过度颜色等等情况 所以分 析的第一步 是从现有路网栅格数据中 提取出道路中心线的一个栅格数据 用这个数据作为腌膜 去提取道路的颜色值 提取道路中心线栅格 只需要做一次 后续都用这个数据 modelbuilder 即可获得不同时刻的道路路况情况 方法为直接加载道理 路况band2 波段 然后重分类出 0 5 5 230 230 255 三个区间 其中的 5 230 就是会筛选出道路的中心线 重分类的值严格按 照我说的做 这个是我们在不断测试中总结的一个值 误差较小 获得了中心线栅格后 直接可以通过 modelbuilder 构建模型 用道路中心线栅格数据作为腌膜提取路况信息数据 其中提取对象为 路况的栅格合成数据 这里不用提取带个波段 重分类 0 160 绿色 160 245 5 黄色 245 5 255 红色 并且重分 类的值分别为 绿色 1 黄色 3 红色 6 重分类的区间范围严格按照我说的做 这个也是我们不断测试中总结的区间值 modelbuilder 中的迭代为 迭代栅格数据 在上一步后 大家会获得一套整理好的路况栅格数据 为后续的路况变化分析作准备 解释一下这里为什么是绿色 1 黄色 3 红 色 6 这是为了后面不同时刻路况数据做减法的时候好区分变化情况 红色变为绿色 6 1 5 路况从拥堵变为通畅 红色变为黄色 6 3 3 路况从拥堵变为较拥堵 黄色变为绿色 3 1 2 路况从较拥堵变为通畅 颜色不变 6 6 0 3 3 0 1 1 0 路况不变 所以按照这样赋值 最后的变化值出现的结果只会有 7 个值 5 3 2 0 2 3 5 分别代表的意义大家就很明确了 好了以上就是今天总结的内容 本次笔记价值非常大 大家在以后运用百度热力图 百度路况图过程中可以经常反复查看 核心知识点