赵斌传统企业创建云计算和大数据分析平台心得.docx

企业创建云计算和大数据分析平台心得赵斌1.云平台的相关术语学习篇幅所限，建议小伙伴们百度以下术语，补充相关云计算的知识：云计算，云平台，共有云，私有云，混合云，IAAS,PAAS,SAAS,IOT,M2M,大数据，分布式存储/计算，虚拟化，负载均衡CDN, openstack,hadoop,mapreduce,spark,hive,BGP,Redis,DDOS,Docker2. IDC机房托管和云平台的对比，云的价值在哪里？从现有资源分布分析，目前，以北京地区为例，是以传统的IDC机房为主。预计2015年，仅北京地区现有8.65万个机柜的存量，将趋于饱和。接下来，新建的云计算数据中心，随着落地时间的临近，将会吸引更多的企业入住。未来2-3年分析，云计算数据中心的发展势头更猛，百度、腾讯、阿里，以及中国电信，都有已建在建和筹建规划。一段时间内，云计算中心和IDC将并存；在5年之内，云计算中心每年将以50%的增速在发展1)弹性的IT架构传统IT模式的短板：无法快速响应快速增长德用户需求，初期投入的成本如果不是太低就是太高了。云平台提供按需租用的模式，有多少需求量，就自动匹配多少计算资源，比如1个新上线的视频直播app,前期只有几百个用户，开1台服务器都嫌多，突然某天请来1个明星直播，有可能出现几十万上百万用户在线，云平台就自动延展到500台服务器帮你容纳这些用户的请求，当然你要付出的费用也随之增长。如果过段时间用户量下去了，云计算服务就关闭到空闲的服务器，付出的租金就少了。2)降低成本降低成本3方面：启动成本降低：按需启动，不让资源闲置和浪费运营成本降低：机房维护人力成本，机器折旧成本开发成本降低：paas平台提供很多api接口二次开发3)可靠性和安全性云平台的安全性需要辨证来看，大部分能叫的上名的公有云提供上的服务可靠性和安全性理论上都比绝大多数自建的机房要高。比如微软的azure云，建在T4级别的机房，满足包括大部分的安全标准。防火墙，传输加密等方面可能都不需要我们考虑。不过另一方面来讲，很多企业担心数据放到公有云上会存在泄密的风险也不是没有道理，虽然大部分的云平台都承诺对企业客户的数据保密，但世界上没有绝对的数据安全（想想美国斯诺登的案例），尤其是在你们企业的核心业务和这些提供云平台服务的供应商之间存在某种竞争关系的情况下，因此现在很多企业都采用混合云的搭建方式，核心数据资产放到私有云中，非核心大众业务数据放到公有云平台上。3.目前市场上主流的云平台微软Azure云：公有云+混合云服务，提供IAAS，PAAS层服务，国内和世纪互联合作 亚马逊云AWS：国外最大的云服务平台，还没有进入国内IBM：只提供私有云的搭建，国内和世纪互联合作阿里云：国内目前市场占有率最高，主要提供IAAS层服务，也在向PAAS层扩展，收购了之前的万网IDC华为云：华为新推出的企业云服务，提供IAAS，PAAS层服务海尔U+：提供传统硬件设备的上网服务，主要是paas层机智云：提供传统硬件设备的上网服务，主要是paas层其他还有很多提供云服务的IT企业，比如百度云，腾讯云，乐视云，金山云等，大家都是把自己数据中心的闲置资源共享出来，提供公有云的计算，存储等服务。4. IAAS，PAAS，SAAS，企业是自己开发还是购买第三方服务？理论上IAAS，PAAS，SAAS层的所有服务功能，企业都可以自己开发，但研发周期，人力成本，硬件采购成本会比较高，做个比喻，第三方开发商来修建公路和购物中心（IAAS层），第三方服务上提供购物中心的电力，燃气，水，上网服务（PAAS层），各个商户来租用这些购物商铺和基础服务，并在基础上开发自己的商铺功能，比如购物，休闲等（SAAS），一家企业没有必要从头到尾所有事情都自己搞定。中小企业，创业团队-直接租用公有云平台即可，在上面开发自己的SAAS应用大型传统企业，在某一行业领域有自己的核心数据资产-可以考虑自建IAAS,PAAS，形成自己的数据中心，SAAS层应用可以委托第三方外包公司开发5.企业如何搭建自己的大数据分析平台？大数据，一个在各种场合快被说滥的技术名字，每个人都在谈论大数据，但很少有人把大数据在具体行业的详细应用场景能够阐述清楚。大数据这个词最先是被淘宝，阿里这种电商平台炒作起来的，过去人们更多提到数据挖掘，数据分析，互联网公司想通过人们在各种电商平台，社交网络上的各种浏览，购物，支付，聊天等行为，为用户进行画像，贴标签（最多可以贴上千个标签），为随后的广告精准推送，互联网金融征信，消费行为预测等服务提供数据支持。传统的BAT互联网企业搞大数据分析有天然优势，因为他们离用户最近，掌握着大部分网友每天的上网活动行为，比如QQ,微信。这些不是传统企业的优势所在。互联网优先改造价值传递领域（媒体-零售-物流等），随后物联网还会改造价值创造领域（制造业，环保，建筑等），个人感觉目前还没有被互联网改造和大规模渗透的一些垂直领域是未来大数据分析市场的蓝海，比如环境数据的分析，制造企业的数据分析等一个企业要想在提前最好大数据领域的战略布局，个人认为需要分析自身优势，以及在大数据产业链所处环节： 数据采集（各种传感器，企业已有系统数据（ERP，OA，CRM）-数据存储处理（Hadoop/spark）-数据分析（各种通用分析模型和各行业自己开发分析模型）-数据展现（各种BI工具，比如IBM cognos, tableau等）。大部分的企业只需要把数据采集和存储环节的工作最好就可以了，形成自己的核心数据资产。至于数据分析和数据展现环节，如果预算充裕，就购买第三方的商业工具，如果自身具备一定的研发实力，也可以基于开源框架自己开发。数据分析的关键一个是数据要全面丰富，多维度，实时，更重要的是分析目标和分析算法模型，这些需要一些行业专家的知识库积累，而不是一些开源的数据处理和分析工具能够做到的。6.如何构建有生命力的云平台？何为优秀的云平台，我总结以下几方面：连接连接尽可能多的硬件终端，app应用，企业系统和人，连接的事物越多，平台的价值越大服务-光连接还不够，关键能为企业内部和外部用户提供哪些具体的软硬件配套服务开放-互联网历史证明，越是开放的平台生命周期越长，API开放，协议开放，数据开放，软件服务开放安全-未来数据资产是企业的核心资产，安全措施必须到位生态-好的云平台是1个有机体，生态系统，而不是机械体，能够自我繁殖，自我优化，自我复制智能分析-能够进行真正的智能分析，科学预测，而不是简单的报表统计和伪智能7.未来云平台的发展趋势趋势1：3-5年内，提供公有云服务的平台竞争日趋激烈，最终被几家大公司垄断，有实力的大型传统企业都会建议自己的私有云平台和数据中心，或者混合云模式，传统单纯IDC机房服务器托管的市场会逐渐萎缩趋势2：5-10年，云平台提供的服务日趋丰富，更加智能，随着机器学习，人工智能领域技术的不断进步，以及各行业云平台算法模型，数据采集积累到一定