企业大数据解决方案大数据企业架构分析(21张)课件

1、大数据企业架构讨论案例研究：智慧交通大数据实时处理和分析目的：提高城市交通的科学管理和组织服务水平业务目标 智能交通数据的有力支撑 智能交通公共信息服务的实时传递和快速反 应的应急指挥 智能交通业务联动快速应对变化 可视化事件跟踪挑战 近千万辆轿车、轨道交通、快速公交系统 高并发事件及数据流的实时处理 海量非结构化大数据的组织与分析 压力传感器 传感 速度传感器 器 生物传感器 温度、湿度RFID 射频天线扫描 电子标识摄像 高速拍照头 高清摄像头3车地双向实时无线通信网数传电台政府专网InternetGPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP公路可视化综合信息平台雷达测

2、速GIS公共交通运营管理平台 监控车次号识别紧急救援CBTC旅行时间路径识别城市综合信息管理平台通信ETCPIS信号BRT公交调度管理电警接处警卡口交通诱导信号控制出行者信息系统视频监控智能停车场电子站牌事件检测用户服务政府企业个人公共感知层/ 信息采集网络层/ 信息传输应用层/信息处理水运综合管理平台ITS智能交通物联网平台交通行业信息服务智能交通整体规划架构铁路综合管理平台4 深度分析 敏捷开发 高度扩展性 实时分析结果大吞吐量实时准备所有的数据源及数据结构 低延时 高并发的交易 高度灵活的数据结构数据获取数据传输数据处理数据是智能交通的核心数据获取数据传输数据处理People.Proce

3、ss.Portfolio.Discussion实时事件处理 概念图解业务场景 重要车辆监控 交通诱导 出行者信息 技术机遇 实时处理大数据量 合并历史事务和实时事务架构决策 实时流 利用现有分析 最大限度地减少数据移动实时批处理流（CEP 引擎）警报BPEL 移动 信息板 数据库NoSQLHDFS实时分析数据流实时数据源CEPRDBMS实时位置NOSQL外部数据库黑名单小型机历史事务备份历史配置文件RDBMS事务历史数据源计算配置文件实时事务（基于消息）Hadoop 集群事件处理规则和结果关联和分析 概念图解NoSQLBI平台与分析业务机会 行车路线建议 信号控制 交通流量分析技术选择 将缩减

4、结果集成到关系数据 库 构建另一个环境 手动关联架构决策 使用集成元数据 使用标准 BI 平台 最大限度地减少数据移动数据仓库数据集市数据库中的 分析MapReduceHDFS实时处理和分析 逻辑图解关键组件Oracle 大数据机Oracle ExalogicOracle CEP/CoherenceOracle SOA SuiteOracle 大数据连接器Oracle ExadataOracle Advanced AnalyticsOracle ExalyticsOracle BI FoundationOracle大数据机Oracle大数据连接器Oracle ExadataOracle Exa

5、lyticsInfiniBandInfiniBandOracle Advanced AnalyticsOracle BIHDFS 和 NoSQLMapReduceCEP/SOACoherence消息流Oracle ExalogicPeople.Process.Portfolio.Discussion问题 请为自己公司/单位设计一个大数据的解决方案。分组讨论结束之后，每组派一到两个代表上来讲一下这个方案A) 公司里存在哪些数据结构化/多结构化/大小/实 时数据/流式数据公司是否已经应用了非关系型数据库B)那些业务考虑引入大数据C)有了这些大数据，如何设计公司的大数据平台D)公司数据的问题或者远景

6、企业的数据架构远景岳.。同ACL1a: .a吕.S案例：Facebook数据仓库架构HadoopFacebook世界上第二大Hadoop集群 用于处理 log 和dimension data Use Case从大量数据中产生每天和每小时的汇总.在历史数据中执行 ad hoc jobs事实上作为一个长期的数据归档根据特定属性来查找log, 可用于维护站点的 一致性，保护用户免受垃圾邮件影响13Hadoop Map/Reduce实时分析 真实情况Real time(msec/sec)Near real time(Min/Hours)Batch(Days.)Hadoop/Hive.Not realt

7、ime. Many dependencies. Lots of points of failure. Complicated system. Not dependable enough to hit realtime goals ( Alex Himel, EngineeringManager at Facebook.)“With the paths that go through Hadoop at Yahoo!, the latency is about fifteen minutes. It will never be true real-time.” (Yahoo CTO Raymie

8、 Stata)MapReduce and other batch-processing systems cannot process small updates individually as they rely on creating large batches for efficiency,“ (Google senior director of engineering Eisar Lipkovitz)实时分析 传统的分析应用垂直扩展(Scale-up)数据库使用传统的SQL数据库使用存储过程生成事件驱动报表使用闪存盘，以减少磁盘I/O使用只读副本横向扩展(Scale Out)只读查询限制

9、：无法写扩展昂贵的成本(HW&SW)实时分析 Complex Event Processing(CEP)当数据到来时立即处理数据维护内存数据窗口优势：延迟极低(mS级)相对低的成本劣势：难于扩展(横向扩展局限)不敏捷（查询必须预生成）实现非常复杂实时分析 In Memory Data Grid分布式内存数据网格横向扩展(Scale out)优势： 读/写可扩展 适合事件驱动(CEP style),ad-hoc查询模式劣势： 相比磁盘，内存成本昂贵 内存容量有限实时分析 No SQL使用分布式数据库 Hbase, Cassandra, MongoDB优势： 读/写可扩展 海量数据支持 弹性缺点：

10、 读延迟，实时性差 弱数据一致性 不成熟-非常新的技术Facebook实时分析系统（实时+批量）Memory GridPTail Puma3Facebook实时分析- Put all together内存数据网格实时处理网格轻量级事件处理Map-Reduce事件驱动代码随数据执行基于交易安全弹性NoSQL数据库低成本存储读/写扩展能力动态扩展裸数据和汇总数据部分网站大数据实时分析架构Storm + Pig + Vertica +Cassandra+ MySQLS4 + HBase/Cassandra + MySQLKafka + Dynamo + MySQL1、不是井里没有水，而是你挖的不够深

11、。不是成功来得慢，而是你努力的不够多。2、孤单一人的时间使自己变得优秀，给来的人一个惊喜，也给自己一个好的交代。3、命运给你一个比别人低的起点是想告诉你，让你用你的一生去奋斗出一个绝地反击的故事，所以有什么理由不努力!4、心中没有过分的贪求，自然苦就少。口里不说多余的话，自然祸就少。腹内的食物能减少，自然病就少。思绪中没有过分欲，自然忧就少。大悲是无泪的，同样大悟无言。缘来尽量要惜，缘尽就放。人生本来就空，对人家笑笑，对自己笑笑，笑着看天下，看日出日落，花谢花开，岂不自在，哪里来的尘埃!5、心情就像衣服，脏了就拿去洗洗，晒晒，阳光自然就会蔓延开来。阳光那么好，何必自寻烦恼，过好每一个当下，一万

12、个美丽的未来抵不过一个温暖的现在。6、无论你正遭遇着什么，你都要从落魄中站起来重振旗鼓，要继续保持热忱，要继续保持微笑，就像从未受伤过一样。7、生命的美丽，永远展现在她的进取之中;就像大树的美丽，是展现在它负势向上高耸入云的蓬勃生机中;像雄鹰的美丽，是展现在它搏风击雨如苍天之魂的翱翔中;像江河的美丽，是展现在它波涛汹涌一泻千里的奔流中。8、有些事，不可避免地发生，阴晴圆缺皆有规律，我们只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改变它的轨迹。9、与其埋怨世界，不如改变自己。管好自己的心，做好自己的事，比什么都强。人生无完美，曲折亦风景。别把失去看得过重，放弃是另一种拥有;不

13、要经常艳羡他人，人做到了，心悟到了，相信属于你的风景就在下一个拐弯处。10、有些事想开了，你就会明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎样，最后收拾残局的还是要靠你自己。11、人生的某些障碍，你是逃不掉的。与其费尽周折绕过去，不如勇敢地攀登，或许这会铸就你人生的高点。12、有些压力总是得自己扛过去，说出来就成了充满负能量的抱怨。寻求安慰也无济于事，还徒增了别人的烦恼。13、认识到我们的所见所闻都是假象，认识到此生都是虚幻，我们才能真正认识到佛法的真相。钱多了会压死你，你承受得了吗?带，带不走，放，放不下。时时刻刻发悲心，饶益众生为他人。14、梦想总是跑在我的前面。努力追寻它们，为了那一瞬间的同步，这就是动人的生命奇迹。15、懒惰不会让你一下子跌倒，但会在不知不觉中减少你的收获;勤奋也不会让你一夜成功，但会在不知不觉中积累你的成果。人生需要挑战，更需要坚持和勤奋!16、人生在世：可以缺钱，但不能缺德;可以失言，但不能失信;可以倒下