大数据的基本概念与应用前景.ppt

大数据的基本概念与应用前景 内容 一 大数据的重要性二 大数据的基本特点三 大数据的相关技术与概念四 大数据的医学应用五 大数据的机遇与挑战 不同国家的大数据战略 Source NigelHolmes2012 Smolan Erwitt TheHumanFaceofBigData 内容 一 大数据的重要性二 大数据的基本特点三 大数据的相关技术与概念四 大数据的医学应用五 大数据的机遇与挑战 21世纪是数据信息大发展的时代 移动互联 社交网络 电子商务等极大拓展了互联网的边界和应用范围 各种数据正在迅速膨胀并变大 互联网 社交 搜索 电商 移动互联网 微博 物联网 传感器 智慧地球 车联网 GPS 医学影像 安全监控 金融 银行 股市 保险 电信 通话 短信 都在疯狂产生着数据 大数据 的诞生 半个世纪以来 随着计算机技术全面融入社会生活 信息爆炸已经积累到了一个开始引发变革的程度 它不仅使世界充斥着比以往更多的信息 而且其增长速度也在加快 信息爆炸的学科如天文学和基因学 创造出了 大数据 这个概念 如今 这个概念几乎应用到了所有人类智力与发展的领域中 大数据时代的演变 大数据 大数据的4V特性 YB 2的80次方 ZB的1000倍 ZB 2的70次方 EB的1000倍 EB 2的60次方 PB的1000倍 PB 2的50次方 TB的1000倍 TB 2的40次方 GB的1000倍 KB 2的10次方 1024 1KB MB 2的20次方 KB的1000倍 GB 2的30次方 MB的1000倍 一个英文字母 1字节 byte DB 2的110次方 NB的1000倍 NB 2的100次方 BB的1000倍 BB 2的90次方 YB的1000倍 全球数据量 ZB 1980以来 每40个月翻一番数据量增速 是GDP增速的4倍数据处理能力 是GDP增速的9倍2000年人类信息75 是模拟数据 2007年是6 现在1 Value价值 挖掘大数据的价值类似沙里淘金 从海量数据中挖掘稀疏但珍贵的信息 价值密度低 是大数据的一个典型特征 内容 一 大数据的重要性二 大数据的基本特点三 大数据的相关技术与概念四 大数据的医学应用五 大数据的机遇与挑战 大数据技术将被设计用于在成本可承受的条件下 通过非常快速 velocity 的采集 发现和分析 从大量化 volumes 多类别 variety 的数据中提取价值 value 数据 信息 知识与智能 Data Information Knowledge Wisdom 39 39 C 39 Fever TakeTylenol 大数据的相关技术 A BTesting关联规则分析分类聚类遗传算法神经网络预测模型模式识别时间序列分析回归分析系统仿真机器学习优化空间分析社会网络分析自然语言分析MapReduceR语言 白云下面数据跑 蓝蓝的天上白云飘 如果数据是财富 那么大数据就是宝藏 而云计算就是挖掘和利用宝藏的利器 没有强大的计算能力 数据宝藏终究是镜中花 没有大数据的积淀 云计算也只能是杀鸡用的宰牛刀 大数据与云计算 1 云计算的模式是业务模式 本质是数据处理技术 数据是资产 云为数据资产提供存储 访问和计算 当前云计算更偏重海量存储和计算 以及提供的云服务 运行云应用 但是缺乏盘活数据资产的能力 挖掘价值性信息和预测性分析 为政府 医院等机构 个人提供决策和服务 是大数据核心议题 也是云计算的最终方向 大数据与云计算 2 Hadoop与MapReduce的概念 Hadoop是一个能够对大量数据进行分布式处理的软件框架 以一种可靠 高效 可伸缩的方式进行处理 MapReduce则是一种可以用来并行处理大数据的编程模型 同一程序在Hadoop的框架下可以用各种不同的语言 Java Ruby Python等 按MapReduce的编程模型进行编写和运行 R语言 R语言擅长在Hadoop分布式文件系统中存储的非结构化数据上进行分析 R现在还可以运行在HBase这种非关系型的数据库以及面向列的分布式数据存储之上 聚类图 空间信息流 热图 内容 一 大数据的重要性二 大数据的基本特点三 大数据的相关技术与概念四 大数据的医学应用五 大数据的机遇与挑战 大数据应用 公共卫生 分析疾病模式和追踪疾病暴发及传播方式途径 提高公共卫生监测和反应速度 临床操作 相对更有效的医学研究 发展出临床相关性更强和成本效益更高的方法用来诊断和治疗病人 科学研究与发展 在药品和医疗器械方面 建立更低磨损度 更精简 更快速 更有针对性的研发产品线 提高临床试验设计和患者的招募 使得治疗方法可以更好地匹配个体患者的病症 从而降低临床试验失败的可能和加快新的治疗方法推向市场 智慧医疗与大数据 Science 杂志于2014年底和2015年初分别刊登了 公共卫生遇上了大数据 和 将大数据纳入公共卫生系统 指出 强大的流行病学基础 稳健的知识整合 循证医学原则以及拓展的转化医学研究议程 可以推动大数据在公共卫生方面的应用 五 大数据的机遇与挑战 五 大数据的机遇与挑战 内容 一 大数据的重要性二 大数据的基本特点三 大数据的相关技术与概念四 大数据的医学应用五 大数据的机遇与挑战 我国卫生信息化发展计划35212工程 机遇 大数据赋予我们洞察未来的能力 人类从依靠自身判断做决定到依靠数据做决定的转变 也是大数据作出的最大贡献之一 大数据时代 挑战1 大数据时代赋予统计人员重大责任 数据的管理分析并不仅仅是提取 检索 汇总 总结 统计专业人员的参与也是必不可少的 数据本身的复杂性 使得分析的过程中充满了种种陷阱 误区 数据异质性 heterogeneity 因素越多 建立普遍有效的统计模型的难度就越大 偏倚叠加 Biasaccumulation 虚假相关 spuriouscorrelation 无意义显著性 meaninglesssignificance 羊群效应 herdingeffect 没有一定统计方面的理论知识结构 就会出现分析上的偏差 或者数据利用低效率 挑战2 大数据时代的个人能力要求 计算机科学 数据开发的专业技能 扎实的计算机科学基础及运用能力 明了大数据的基础框架设施分析和建模能力 在了解数据的基础上迅速分析并建立有效的统计模型 这不仅需要扎实的统计学 还需要有敏锐的思考和洞察力 好奇心和创意的思考能力 这需要对数据有着一种渴望激情 善于