大数据平台的设计与实现--四川大学研究生答辩ppt

1、大数据平台答答 辩辩 人人: : 红军红军专专 业业: : * * * *指导老师指导老师: : * * * *论文题目论文题目：大：大数据平台数据平台的的设计设计与实现与实现大数据平台目录目录研究背景研究背景开源技术开源技术平台需求平台需求平台设计平台设计总结展望总结展望大数据平台研究背景研究背景大数据平台大数据大数据量大量大 5EB 40ZB多样多样 结构 非机构高速高速 产生 处理真实性真实性 质量 价值大数据平台国内国内 投入 先进 价值企业企业 政策 开放慢 有障碍政府政府 落后 概念 希望农业农业大数据平台国外国外农业大数据农业大数据政府政府开放开放技术技术大数据平台开源技术开源技

2、术大数据平台开源开源- -收集收集外部网站外部网站文件图片文件图片关系数据库关系数据库内部网站内部网站网络网络爬虫爬虫文本文本收集收集关系关系数据数据同步同步点击点击流流nutchflumesqooppiwik大数据平台开源开源- -存储存储超大数据集高吞吐量超大规模HDFS完全分布式面向列非结构化Hbase简单支持集群社区活跃mysql内存KV存储高性能集群redis大数据平台开源开源- -计算计算yarnsparkMapReducestorm大数据平台开源开源- -工具工具 ambari支持数据服务集群的供应、管理和监控。支持应用扩展。 Hive是面向Hadoop生态系统的数据仓库。支持类

3、SQL语言。 Oozie管理调度Hadoop任务。 Mahout基于MapReduce算法库，初步支持spark。大数据平台平台需求平台需求大数据平台整体业务视图整体业务视图基础部署/配置/监控管理服务自动部署服务自动部署服务应用配置服务应用配置服务机器机器/ /服务服务/ /网络网络监控监控报警预警管理报警预警管理列分存储服务列分存储服务文件存储服务文件存储服务关系数据存储关系数据存储内存存储服务内存存储服务消息存储服务消息存储服务数据存储中心流式计算流式计算迭代迭代交互计算交互计算密集型密集型计算计算数据计算中心应用服务平台元数据管理任务调度数据可视化网站埋点数据接口用户权限资源空间文本收

4、集关系数据批量收集关系数据实时收集点击流收集移动端收集网页数据收集数据录入数据收集中心三方系统数据用户数据开发平台管理平台开发平台维护三方系统网页APPDB服务器传感器外部接口大数据平台场景场景- -工程师工程师 合理分配资源 数据可管可查 算法被合理执行 简单实现可视化 异常问题可知大数据平台场景场景- -用户用户 用户查看权限可被管理 查找数据关系描述 数据内容可被搜索 可以查看订阅数据图表大数据平台场景场景- -系统系统 获取数据成果 输送数据 数据暂存 数据计算大数据平台17平台设计平台设计大数据平台设计设计- -架构架构Flume文本同步Sqoop DB同步实时DB同步PIWIK点击

5、流收集移动收集SDK分布式爬虫Redis_clusterMysql_clusterHDFSHbasekafkasparkMap-reducestormhivehbasephoenix元数据管理任务调度服务数据可视化服务埋点服务数据搜索服务数据接口服务自动抽取用户权限资源管理服务器管理自动部署服务应用配置服务应用监控服务预警报警系统大数据平台设计设计- -部署部署大数据平台设计设计- -收集收集大数据平台应用应用- -关系关系大数据平台应用应用- -调度调度大数据平台应用应用- -可视化可视化 服务业务系统管理后台可视引擎Mysql集群、Redis集群 关键术语业务系统、桌面、报表大数据平台总结展望总结展望大数据平台总结总结 不足不足不能实现一键平台整体部署；操作复杂，学习门槛高；存在一些bug待修改，存在功能不足待完善；部分流程之前还存在断层； 成果成果所有系统实现分布式并支持多机房部署；完成收集、存储、计算、展现、管理的打通；实现机构化、非结构化、实时和离线的数据收集；大数据平台展望展望技术方向技术方向结