空间大数据概述共ppt课件.ppt

空间大数据 目录 一 大数据的涵义与研究意义二 与空间信息和位置相关的大数据三 空间大数据的应用四 空间大数据的存储五 总结 一 大数据的涵义与研究意义 大数据 大型复杂数据集的聚合 这些数据集的规模和复杂程度常超出目前数据库管理软件和传统数据处理技术在可接受时间下的获取 管理 检索 分析 挖掘和可视化能力 一 大数据的涵义与研究意义 大数据的特点 Volume 体量大 大量TB级以上已有的数据等待处理 Velocity 速度快 需要响应以s甚至ms计的流数据不断产生 Variety 模态多样 数据来源和类型繁多文本 图片 视频等结构化和非结构化数据并存 Veracity 真伪难辨 由于数据的噪音 缺失 不一致性 歧义等引起的数据不确定性 Value 价值 大数据使得人们以前所未有的维度量化和理解世界 蕴含了巨大的价值 大数据的终极目标在于从数据中挖掘价值 大数据的核心 预测 一 大数据的涵义与研究意义 研究大数据的意义 科学进步 图灵奖获得者吉姆 格雷提出 大数据是科学研究的第四范式 是从计算密集型科研发展到以大数据为基础的数据密集型科研方法 科学研究方法的发展 真正的革命并不发生在分析数据的机器 而在于数据本身和我们如何运用数据 一 大数据的涵义与研究意义 研究大数据的意义 社会变革 2009至今美国政府全面开放了40万联邦政府原始数据集 大数据已成为美国国家创新战略 国家安全战略 国家IT产业发展战略以及国家信息网络战略的交叉领域 核心领域 21世纪数据的价值有可能等同于20世纪的石油 大数据研究使得人们降低了对因果关系的渴求 而关注相关关系 只需要知道是什么 而不需知道为什么 这将使得理解现实和做决定的基础也将受到根本性挑战 社会 价值 一 大数据的涵义与研究意义 研究大数据的意义 经济增长 二 与空间信息和位置相关的大数据 指直接或间接关联着相对于地球的某个地点的数据 包括自然地理数据和社会经济数据 空间媒体数据 地理数据 轨迹数据 包含位置的数字化的文字 图形 图像 视频影像等媒体数据 主要来源于移动社交网络 微博等新型互联网应用 指通过GNSS等测量手段以及网络签到等方法获得的用户活动数据 可以被用来反映用户的位置和用户的社会偏好 位置大数据的分类 二 与空间信息和位置相关的大数据 地理数据 内容 土地覆盖类型数据 地貌数据 土壤数据 水文数据 植被数据 居民地数据 河流数据 行政境界及社会经济方面的数据等 特点 数据体量大 较为规则化 变化较慢 二 与空间信息和位置相关的大数据 轨迹数据 内容 个人轨迹数据 群体轨迹数据 车辆轨迹数据等 特点 数据体量大 信息碎片化 准确性较低 半结构化 出租车轨迹数据示例 二 与空间信息和位置相关的大数据 空间媒体数据 内容 互联网图像视频数据 社交网络数据在线电子商务数据 城市监控摄像头数据 特点 数据来源混杂 数据异构性大 数据价值密度低 实时性强 二 与空间信息和位置相关的大数据 社会交流 个性化信息推送 驾驶安全 智能驾驶 为个人生活服务 城市规划 疾病控制 智能交通 节能减排 环境保护 应急响应 企业调度 门店选址 广告推送 位置营销 为企业经济服务 为城市运行服务 位置大数据的作用 三 空间大数据的应用 1 空间大数据与智能交通 Inrix是美国的一家交通数据处理公司 也是全球领先的道路交通信息和驾驶员服务供应商 他们设计的APP是一款致力于为全球交通问题带来智能数据和先进的分析方法的交通智能化平台 三 空间大数据的应用 利用大数据预判未来交通信息和路况是核心 2012年英国伦敦奥运会利用INRIX软件和在线服务确保交通顺畅 在美国有超过25个州的交通部门使用INRIX数据辅助交通管理 三 空间大数据的应用 2015年2月11日 国内智能交通行业领军企业北京千方科技股份有限公司与INRIX签署战略合作协议 千方科技在国内智能交通行业具有深厚的理解和市场 技术积累 INRIX在欧美地区具有成熟的交通信息化解决方案和先进理念 双方将结合各自的优势 整合交通信息化及数据分析解决方案和产品 共同拓展智能交通行业市场 双方将在交通大数据分析 增值挖掘 交通仿真等技术方向深度交流 提升双方专业化及技术能力 不过 由于涉及国内职能部门的数据保护问题 国内手机用户还未能够体验这款App 三 空间大数据的应用 2 空间大数据与社会生活 2014年春节期间 百度地图定位可视化大数据播报的国内春节人口迁徙情况 2015年最近一周南京夫子庙景区热力图 三 空间大数据的应用 3 空间大数据与应急管理 2013年4月15日 波士顿马拉松爆炸案事发几小时内 数以千计的在场群众将事发现场拍摄的照片和视频放到了公共网络平台上 这些照片和视频图像来自各种相机 手机和平板电脑 不到一天时间 嫌犯被确认并在纽约被抓获这是一种典型的利用空间社会媒体的位置大数据与反犯罪机构的专业能力结合 建立的城市安全与应急新体制 位置大数据研究涉及到数据采集 数据处理 计算和存储以及可视化等一套完整的方法体系 四 空间大数据的存储 四 空间大数据的存储 海量数据的高效存储 支持丰富的数据类型 处理速度快 数据库应当易于扩展 大数据下对于数据库的需求 四 空间大数据的存储 CAP NOSQL BASE 不保证遵循ACID原则 分布式的 非关系型的 四 位置大数据的存储 必须保证 两者权衡 一致性 可用性 分区容错性 BASE 四 空间大数据的存储 灵活 高可用性 高性能 易扩展 NoSQL数据库的特点 四 空间大数据的存储 Key value型 文档型 图形数据库 列式存储 四 空间大数据的存储 定义一个大的有序结构数组HashValue m 用来存放各信息 查询 哈希表 哈希函数 当查询的时候再使用哈希函数得到这个下标值 编写一个哈希函数将关键值的名字转换为HashValue m 中的某个下标值x Key value型 四 空间大数据的存储 文档 集合 数据库 集合就是一组文档 集合是无模式的 多个文档组成集合多个集合数据库 它包含多个键 值对文档中的键 值对是有序的 文档型数据库 四 空间大数据的存储 四 空间大数据的存储 四 空间大数据的存储 四 空间大数据的存储 四 空间大数据的存储 这便是一个document 使用JSON格式 一目了然 其中的 geom 即为Geometry类型的数据 即地理空间数据 也是采用JSON格式存储 这样后续的空间索引与空间查询将十分方便 四 空间大数据的存储 db xqpoint find geom coordinates 122 53233 52 968872 精确查询 邻域查询 db xqpoint find geom coordinates near 122 52 db xqpoint find geom coordinates near 122 52 limit 5 db xqpoint find geom coordinates near 122 52 maxDistance 5 limit 5 四 空间大数据的存储 范围查询 box 80 40 100 50 db xqpoint find geom coordinates within box box center 80 44 radius 5 db xqpoint find geom coordinates within center center radius polygon1 75 35 80 35 80 45 60 40 db xqpoint find geom coordinates within polygon polygon1 五 总结 大数据研究带来的挑战 感谢你的聆听 1 不是井里没有水 而是你挖的不够深 不是成功来得慢 而是你努力的不够多 2 孤单一人的时间使自己变得优秀 给来的人一个惊喜 也给自己一个好的交代 3 命运给你一个比别人低的起点是想告诉你 让你用你的一生去奋斗出一个绝地反击的故事 所以有什么理由不努力 4 心中没有过分的贪求 自然苦就少 口里不说多余的话 自然祸就少 腹内的食物能减少 自然病就少 思绪中没有过分欲 自然忧就少 大悲是无泪的 同样大悟无言 缘来尽量要惜 缘尽就放 人生本来就空 对人家笑笑 对自己笑笑 笑着看天下 看日出日落 花谢花开 岂不自在 哪里来的尘埃 5 心情就像衣服 脏了就拿去洗洗 晒晒 阳光自然就会蔓延开来 阳光那么好 何必自寻烦恼 过好每一个当下 一万个美丽的未来抵不过一个温暖的现在 6 无论你正遭遇着什么 你都要从落魄中站起来重振旗鼓 要继续保持热忱 要继续保持微笑 就像从未受伤过一样 7 生命的美丽 永远展现在她的进取之中 就像大树的美丽 是展现在它负势向上高耸入云的蓬勃生机中 像雄鹰的美丽 是展现在它搏风击雨如苍天之魂的翱翔中 像江河的美丽 是展现在它波涛汹涌一泻千里的奔流中 8 有些事 不可避免地发生 阴晴圆缺皆有规律 我们只能坦然地接受 有些事 只要你愿意努力 矢志不渝地付出 就能慢慢改变它的轨迹 9 与其埋怨世界 不如改变自己 管好自己的心 做好自己的事 比什么都强 人生无完美 曲折亦风景 别把失去看得过重 放弃是另一种拥有 不要经常艳羡他人 人做到了 心悟到了 相信属于你的风景就在下一个拐弯处 10 有些事想开了 你就会明白 在世上 你就是你 你痛痛你自己 你累累你自己 就算有人同情你 那又怎样 最后收拾残局的还是要靠你自己 11 人生的某些障碍 你是逃不掉的 与其费尽周折绕过去 不如勇敢地攀登 或许这会铸就你人生的高点 12 有些压力总是得自己扛过去 说出来就成了充满负能量的抱怨 寻求安慰也无济于事 还徒增了别人的烦恼 13 认识到我们的所见所闻都是假象 认识到此生都是虚幻 我们才能真正认识到佛法的真相 钱多了会压死你 你承受得了吗 带 带不走 放 放不下 时时刻刻发悲心 饶益众生为他人 14 梦想总是跑在我的前面 努力追寻它们 为了那一瞬间的同步 这就是动人的生命奇迹 15 懒惰不会让你一下子跌倒 但会在不知不觉中减少你的收获 勤奋也不会让你一夜成功 但会在不知不觉中积累你的成果 人生需要挑战 更需要坚持和勤奋 16 人生在世 可以缺钱 但不能缺德 可以失言 但不能失信 可以倒下 但不能跪下 可以求名 但不能盗名 可以低落 但不能堕落 可以放松 但不能放纵 可以虚荣 但不能虚伪 可以平凡 但不能平庸 可以浪漫 但不能浪荡 可以生气 但不能生事 17 人生没有笔直路 当你感到迷茫 失落时 找几部这种充满正能量的电影 坐下来静静欣赏 去发现生命中真正重要的东西 18 在人生的舞台上 当有人愿意在台下陪你度过无数个没有未来的夜时 你就更想展现精彩绝伦的自己 但愿每个被努力支撑的灵魂能吸引更多的人同行 19 积极的人在每一次忧患中都看到一个机会 而消极的人则在每个机会中看到了某种忧患 莫找借口失败 只找理由成功 20 每一个成就和长进 都蕴含着曾经受过的寂寞 洒过的汗水 流过的眼泪 许多时候不是看到希望才去坚持 而是坚持了才能看到希望 1 这世上 没有谁活得比谁容易 只是有人在呼天抢地 有人在默默努力 2 当热诚变成习惯 恐惧和忧虑即无处容身 缺乏热诚的人也没有明确的目标 热诚使想象的轮子转动 一个人缺乏热诚就象汽车没有汽油 善于安排玩乐和工作 两者保持热诚 就是最快乐的人 热诚使平凡的话题变得生动 3 起点低怕什么 大不了加倍努力 人生就像一场马拉松比赛 拼的不是起点 而是坚持的耐力和成长的速度 只要努力不止 进步也会不止 4 如果你不相信努力和时光 那么时光第一个就会辜负你 不要去否定你的过去 也不要用你的过去牵扯你的未来 不是因为有希望才去努力 而是努力了 才能看到希望 5 人生每天都要笑 生活的下一秒发生什么 我们谁也不知道 所以 放下心里的纠结 放下脑中的烦恼 放下生活的不愉快 活在当下 人生喜怒哀乐 百般形态 不如在心里全部淡然处之 轻轻一笑 让心更自在 生命更恒久 积极者相信只有推动自己才能推动世界 只要推动自己就能推动世界 6 人性本善 纯如清溪流水凝露莹烁 欲望与情绪如风沙袭扰 把原本如天空旷蔚蓝的心蒙蔽 但我知道 每个人的心灵深处 不管乌云密布还是阴淤苍茫 但依然有一道彩虹 亮丽于心中某处 7 每个人的心里 都藏着一个了不起的自己 只要你不颓废 不消极 一直悄悄酝酿着乐观 培养着豁达 坚持着善良 只要在路上 就没有到达不了的远方 8 不要活在别人眼中 更不要活在别人嘴中 世界不会因为你的抱怨不满而为你改变 你能做到的只有改变你自己 9 欲戴王冠 必承其重 哪有什么好命天赐 不都是一路披荆斩棘才换来的 10 放手如拔牙 牙被拔掉的那一刻 你会觉得解脱 但舌头总会不由自主地往那个空空的牙洞里舔 一天数次 不痛了不代表你能完全无视 留下的那个空缺永远都在 偶尔甚至会异常挂念 适应是需要时间的 但牙总是要拔 因为太痛 所以终归还是要放手 随它去 11 这个世界其实很公平 你想要比别人强 你就必须去做别人不想做的事 你想要过更好的生活 你就必须去承受更多的困难 承受别人不能承受的压力 12 逆境给人宝贵的磨炼机会 只有经得起环境考验的人 才能算是真正的强者 自古以来的伟人 大多是抱着不屈不挠的精神 从逆境中挣扎奋斗过来的 13 不同的人生 有不同的幸福 去发现你所拥有幸运 少抱怨上苍的不公 把握属于自己的幸福 你 我 我们大家都可以经历幸福的人生 14 给自己一份坚强 擦干眼泪 给自己一份自信 不卑不亢 给自己一份洒脱 悠然前行 轻轻品 静静藏 为了看阳光 我来到这世上 为了与阳光同行 我笑对忧伤 15 总不能流血就喊痛 怕黑就开灯 想念就联系 疲惫就放空 被孤立就讨好 脆弱就想家 不要被现在而蒙蔽双眼 终究是要长大 最漆黑的那段路终要自己走完 16 在路上 我们生命得到了肯定 一路上 我们有失败也有成功 有泪水也有感动 有曲折也有坦途 有机遇也有梦想 一路走来 我们熟悉了陌生的世界 我们熟悉了陌生的面孔 遇人无数 匆匆又匆匆 有些成了我们忘不掉的背影 有些成了我们一生的风景 我笑 便面如春花 定是能感动人的 任他是谁 17 努力是一种生活态度 与年龄无关 所以 无论什么时候 千万不可放纵自己 给自己找懒散和拖延的借口 对自己严格一点儿 时间长了 努力便成为一种心理习惯 一种生活方式 18 自己想要的东西 要么奋力直追 要么干脆放弃 别总是逢人就喋喋不休的表决心或者哀怨不断 做别人茶余饭后的笑点 19 即使不能像依米花那样画上完美的感叹号 但我们可以歌咏最感人的诗篇 即使不能阻挡暴风雨的肆虐 但我们可以左右自己的心情 即使无法预料失败的打击 但我们可以把它当作成功的一个个驿站 20 能力配不上野心 是所有烦扰的根源 这个世界是公平的 你要想得到 就得学会付出和坚持 每个人都是通过自己的努力 去决定生活的样子 1 只要有坚强的意志力 就自然而然地会有能耐 机灵和知识 2 你们应该培养对自己 对自己的力量的信心 百这种信心是靠克服障碍 培养意志和锻炼意志而获得的 3 坚强的信念能赢得强者的心 并使他们变得更坚强 4 天行健 君子以自强不息 5 有百折不挠的信念的所支持的人的意志 比那些似乎是无敌的物质力量有更强大的威力 6 永远没有人力可以击退一个坚决强毅的希望 7 意大利有一句谚语 对一个歌手的要求 首先是嗓子 嗓子和嗓子 我现在按照这一公式拙劣地摹仿为 对一个要成为不负于高尔基所声称的那种 人 的要求 首先是意志 意志和意志 8 执着追求并从中得到最大快乐的人 才是成功者 9 三军可夺帅也 匹夫不可夺志也 10 发现者 尤其是一个初出茅庐的年轻发现者 需要勇气才能无视他人的冷漠和怀疑 才能坚