企业大数据平台方案

1、企业大数据平台方案全球市场规模2013年全球大数据市场总体规模为186亿美元，2014年285亿美元，2015年将达到384亿美元,（数据来源：Wikibon 口径：含大数据专门硬件、软件和云服务）2012年大数据产业生态体系大数据解决方案提供商数据交易市场基础软件硬件大数据处理服务提供商公共数据市场盈利数据市场应用软件商业智能服务类数据中心基础设施广告/媒体服务类数据库数据存储大数据分析软件免费数据平台通用在线分析工具类日志数据服务类数据交易服务类分析和可视化服务类技术服务、运维支持大数据服务类收入包括大数据在线应用、专业咨询服务、技术支持服务等。服务类收入在大数据市场中占比约44%。大数据

2、相关的软件和硬件产品仍是大数据市场主要收入构成，其中软件收入占比22%，硬件收入占比38%。数据交易市场尚处萌芽期，市场规模仍然很小。MapReduce，Hive展示/交互技术架构ServiceMonitoringAutomationIntegration集群运维AmbariAccess ManagementAuditAuthorizationReal Time Alert安全方案Sentry领域模型客户画像数据平台商业智能Data Integration： Sqoop, Flume, KafkaFile System: HDFSOnline NoSQL: HBaseWorkload Mana

3、gement： YARN （with docker）Elastic SearchImpala，Spark SQLSpark Mllib,GraphXSpark Streaming,Storm关系型数据流式数据API接口多媒体数据块式数据流式计算机器学习全量索引批量计算Sql查询关联分析与既有系统的结合的数据流图框架用户画像, 视频推荐,网络分析监控各业务系统智能分析数据查询分布式存储和计算批量服务框架传统OLAP数据平台导入汇总计算 批处理引擎智能分析数据平台报表查询应用服务Cube生成WEB数据查询优化引擎汇总计算 实时计算引擎Cube生成数据回流增量数据同步CUBE数据汇总数据明细数据近期

4、CUBE数据汇总数据明细数据全量其他智能分析 应用数据展示平台数据分析算法/模型第三方数据爬虫采集数据公开数据源热点三个行业& 三个热点大数据应用在各行各业的发展呈现“阶梯式”格局: 互联网行业是大数据应用的领跑者，金融、零售、电信、公共管理、医疗卫生等领域尝试当中电商 实时竞价广告DSP & 精准营销 . 提高服务 金融 互联网金融 & 行为预测, 风控, 实时授信, 信贷政府 政府监管 & 征信 税务 统计 舆情 犯罪预防 交警卡口AIPlus: 研究类热点 硬件演进,使机器学习(ML)重获生机, 反馈给现在的业务端,用于不可枚举型的分析查询ML级别的集群: Google(Google B

5、rain), Facebook(DeepFace 2014) , Baidu(image, face- 百度识图) Tecent (Mariana语音,翻译- 微信, Ali (天池, 快的打车, )难点:算法收敛节点数量联想内部使用大数据分析做产品设计的决策支持AI SQL on Hadoop 混合架构逐渐消失 云计算与大数据的融合 多container集群快速部署 ( Hadoop as service ) On SSD Computing 固态盘替代内存做为缓存, 取代In-memory computing 探索与发现 优化的深度学习能力技术趋势 向 Hadoop架构统一(5TB)Had

6、oop: 调度与计算框架分离, 流计算与批处理走向统一挑战- 热点背后的疑点/盲点部署工具无法按需选择不同厂商计算框架 绑定, 付费, 且无法广泛兼容, 被忽略的节点设计与 硬件接口优化 现有一体机设计多为仅做了简单的加法 最后一公里的集成与优化的落地 与既有平台的兼容和优化 ( ETL , 特征提取) 机器学习实践意义的提高 节点数庞大时算法无法收敛且难以优化,忽略从硬件角度优化与云计算的结合 与云结合, Docker 多container集群快速部署 ( Hadoop as service ) 基础设施对大数据的关键性被忽略大数据与分析基本设施销售财务运营人力资源风控欺诈调查数据资产治理解

7、决方案行业ISV解决方案策略和分析服务咨询服务Hadoop软件平台硬件平台智慧分析平台DecisionManagementPerformance ManagementDiscovery &Exploration商业智能和分析预测ContentAnalytics信息整合与治理Data Mgmt & WarehouseHadoopSystemStreamComputingContentManagement数据整合平台提供了明显的差别发现新的见解实时操作商业应用加速达到商业价值洞察商业问题的背景可靠的基础设施与智能优化部署高可用可扩展易运维了解业务需求与目标分析与展现平台垂直行业方案平台大数据平台设

8、计主张: 应用导向的定制化统一集成大数据节点设计方案 所有的大数据问题都不一样 架构必须考虑到不同的要求:计算界限分析, 计算密集型分析（例如., 数据分类，文本挖掘，或先进的运算法则）I/O界限分析, I/O密集度分析（例如., 索引、搜索、数据排序）数据摄入的要求节点设计平衡性能/成本优化后的工作量：处理器：时钟速率和核数内存： 对于内存限制工作型，并为内存密集型管理节点硬盘 ：数目和种类 (SAS 或 SATA)核对硬盘比：工作负载的I/O密集程度核数时钟速率节点内存数据节点硬盘6 or 8Up to 2.4 GHz3-6 GB /核 2TB, 3TB 4TB, 6TB NL SAS o

9、r SATA参考架构的数据节点设计要考虑计算或I/ O绑定的工作负载数量# Figures from Intel E5-2400/#5-2600 Processor specifications对于深度学习算法的收敛问题的解决来说, 比起优化算法, 优化硬件架构是更简单的解决方式, 举例来讲, 降低网络开销就可以Lenovo优化部署方案 易用的硬件部署 自动部署OS ready for Hadoop 多元化的基础平台软件选择 贴合应用场景的优化管理节点的配置和数量是系统性能，可管理性和可用性的关键边缘节点定义影响整体系统的性能和数据输入如果不考虑这些因素可能会导致主要瓶颈和长期增长潜在的问题L

10、enovo BigData FoundationApplianceManagement NodeData NodeData NodeData NodeData NodeBigData PlatformNameNodeResourceManagerHMasterLenovo BigData Foundation案例- 视频推荐typecountrytimedirectoractorpolaritycontentagea11, a12, a13, , a1na21, a22, a23, , a2n:am1, am2, am3, , amnb11, b12, b13, , b1nb21, b22, b23, , b2n:bm1, bm2, bm3, , bmnContent TopicsText ContentComedyteenageContent CategorySportsSoccerFigureActorsSing