大数据公司可行性报告

云端大数据产业发展可行性报告一、大数据概念"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。”大数据”首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度(Velocity)快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性(Veracity)高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。二、大数据特点大数据特点要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。1、数据体量巨大。从TB级别，跃升到PB级别。2、数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。3、价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。4、处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。三、大数据分析从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。

l.AnalylicVisualizalions（可引化分析）大数据分析的五个基本方面2.DataMiningAlgcrithm^〔敝蛔统捆算法）3.PredictiveAnalytic匚apabilities（BSSJ性分忻醒力）4.SemanticEnginesE语文引军）大敢幅分折3泗论核心就是皱厩虢算法,驾种戒据曜混注拉亍不同的艘类型l.AnalylicVisualizalions（可引化分析）大数据分析的五个基本方面2.DataMiningAlgcrithm^〔敝蛔统捆算法）3.PredictiveAnalytic匚apabilities（BSSJ性分忻醒力）4.SemanticEnginesE语文引军）大敢幅分折3泗论核心就是皱厩虢算法,驾种戒据曜混注拉亍不同的艘类型和捂式才能更non学的呈现出叛据本导鼻备的特点，也正良因为国些粮垒世界峪计学冢所壮认55各伸抚4：I方法《可以辙之为真理）况时、瓣内部，挖掘出公认的忻悒.日外—T'方面也夏因为有速些数据陟屈的箕法才能史悦速的批理大荻倨.如果一个蔑法街花上叶成才能得出皓论，那大数据的忻借也就无故说起了、大散据方听最德要的应用颖域之一就是回醐粉析,从太救据中磨国出特点，建过科学的逮立模里,之洽便可以通过模型带入新的蚊据,从而御1未来的敖抵大散据分折广奁而用V闷烙散据f瓣，可从用户的搜索黄燧同、标词、成其他毓X语义，洒，判断用户编求.从而实现更好的用户悻着和广告5.StaQuaityandMasterDataManagement（数据志量和数据胃珂）趟跆折离不开替席度曷幻跋据典.高度:&£籀据刊有致的煎据M理.无论是在学术研海是在商业质用鼬,都百海岸证部律果的直买和肓忻值，大款据分析的芸瑞就是以上五个方面,当然更加派*大散据分析的话.还有很尝很密戴由侍点凯更如野迅至加专业的去散据分杼方凯四、大数据作用未转十年,:夬走中国是不宅衬太豆落W桃心京殳标准〔割S’更距者‘），丧豆区民未转十年,:夬走中国是不宅衬太豆落W桃心京殳标准〔割S’更距者‘），丧豆区民空泻一一0^在民生上，遇过太娜让有息点㈤毛宝醇澄明，君耕帕袱无与入哉罪二械傅是否比以前更有戒：二伸现在生态上,售卫太虹江宵意宾.炽垓律SB朗B强匚豆无与人夫汞上,仗律毛吾比以可旻有急注、E.址新口从TTHgl至丈.思沌时传,玄A未左M年伊堂萱明时他生产者愉'画的，^=#Si>aiKS殳吊在.必5才有护旧,竺巨者不认同的.际不出去,附规不了折值:R招捋尽电、同拘,才而出去.7■觐博丁崎宣互农丑箱且洪g栏mW'T■碍士识别芸乂.肱而祖局生产日互朋倚值.苗供后动内需的晒卜落食莫*磨悦FiWJEWfi!距MzgfOH属拓中,暗挞空吊脱gai岳麻汀避皂.大敏拒工敝网辑粘桔产住无弟家空沮现力戛信柄魄国件昭构得宁的,是各神各样去中心ft用WE62.D应的.灯RS5、隹其、亏击等一大故暗之帝旧成为卅度革力呈.在于#延过定施慧丈而荻雀五、政策倾向和市场需求大数据产业在中国已经被提高到国家战略层面，在国务院印发的《促进大数据发展行动纲要》中就明确指出要以企业为主体，营造宽松公平环境，加大大数据关键技术研发、产业发展和人才培养力度，着力推进数据汇集和发掘，深化大数据在各行业创新应用，促进大数据产业健康发展。发展大数据在工业、新兴产业、农业农村等行业领域应用，推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关，形成大数据产品体系，完善大数据产业链。贵州省在着力打造大数据产业发展应用新高地，推动大数据产业成为贵州经济社会发展的新引擎，建成全国领先的大数据资源中心和大数据应用服务示范基地。按照“基础构建、集群聚集、创新突破”的思路，科学规划大数据产业布局，建基地、引人才、聚企业、抓应用、保安全、促创新，建设信息资源聚集地。2014年2月，贵州印发《关于加快大数据产业发展应用若干政策的意见》。明确从2014年起连续3年，省和贵阳市、贵安新区每年各安排不少于1亿元资金，用于支持大数据产业发展及应用。到2017年，贵州将形成1一2个大数据产业示范园区，引进和培育30户大数据龙头企业，聚集500户创新型大数据相关企业，通过大数据带动相关产业规模达3000亿元，引进大数据领军人才100名，引进和培养高端人才5000名。2014年，贵州以大数据为引领的电子信息产业实现规模总量1460亿元，同比增长62%；电子信息产业投资230亿元，增长225%；大数据信息企业共1721家，较2013年底增加了410家，增长31%。贵州提出把大数据产业作为重要战略来抓，制订发展规划，出台支持政策，成立产业发展领导小组，统一建设系统平台。阿里巴巴、IBM、英特尔、惠普、戴尔、百度、浪潮、神州数码、中国普天、中兴通讯等信息产业龙头企业，现今纷纷与贵州开展合作。围绕大数据全生命周期,贵州重点打造“基础设施层、系统平台层、云应用平台层、增值服务层、配套产品层”五个产业链层级，建设大数据“内容中心一服务中心一金融中心”三个中心。发展蓝图一经确定，贵州立即付诸实践:建成省级政府和企业数据统筹交换共享的基础性、系统性云服务平台一一云上贵州；启动wifi免费无线城市建设，今年5月1日，16个热点公共区域的免费wifi投入试运行；贵阳大数据交易所投入运营。今年初，工信部批复同意创建“贵阳•贵安大数据产业发展聚集区”。按照规划,2015年,贵州大数据信息产业实现规模总量将达到2000亿元，同比增长37%。同时，力争10个国家级、行业级、龙头企业数据资源存储贵州。六、大数据产业人才需求一方面，根据IDC的调查报告，全球从2012年至2015年的3年之间里，云计算的相关工作需求将出现26%的年增长率，超过1/4的增长率再次证明了企业对云计算人才的巨大需求°IDC的预测还表明，2012年有约170万的云计算相关岗位出现真空，而这方面的求职者也都缺乏云计算方面的实践经验，并且不具备完善的培训机制;值得警醒的是，到2015年，这个数字将有170万上升到700万，云计算产业面临着更大的人才缺口。若以地区来看，亚太地区的云计算人才缺失要更加严重一些，根据IDC预测，亚太区的云计算相关人才需求年增长率将达到32%，超过欧洲、中东等地区8个百分点，到2015

年的人才需求是230万。这其中，中国地区也占了很大比例，尤其中国还是一个拥有巨大发展潜力的市场。另一方面，根据麦肯锡报告，仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。BigDataSkillsGap:1.7MillionWorkersBy2018■Mansgers/bus.analystsAnal/tics/dataexpertsSourceFJcKnseyGlobalktslibutereport.uBig&ata:ThefrtestFronuerforInnDvati^n,Competilronand!Productivity1CTOCIO.com然而，目前在云计算和大数据行业打拼的从业者中，大部分都是半路出家，极少有人受过系统化的培养和教育。在信息周刊的调查显示BI、数据分析和信息管理人才认为技术培训、认证课程和统计/分析培训是最重要的三种培训课程选择。有趣的是，数据分析人才对财务、营销等商务技能课程的兴趣远高于其他IT专业人士。TrainingVai-uedWhoCEyp?MErairiin^wgulclyuijiaidnrt{EwDu出*4?ind^rlopin-^car«t?CTOCIO.CDm我国大数据所需人才储量小，符合条件的人才严重不足，供需矛盾明显。我国能否在云计算和大数据时代这一轮新的竞争中取得先机，人才是关键。在一个产业来说，高端科研和开发人才其实需求量并不大，市场需要的更多是基础开发、项目实施和维护人员，这就给我省大数据人才培养和大数据产业弯道取直提供了一个非常好的机会。七、公司大数据产业发展落脚点公司对目前国内外大数据产业发展形势结合自身优点，着力从四个方面落脚引领大数据产业发展。1、云端大数据产业应用研究院，建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。2、云端大数据产业标准研究院，规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。3、云端大数据项目建设部，搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。4、云端大数据产业人才培养基地，培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。八、云端大数据优势1、携手全国首个大数据学院贵州大学学院和贵州大学六度众创空间共同成立大数据产业人才培养基地。2、结合贵州省大数据产业应用研究院联合组建大数据产业应用研究院和大数据产业标准研究院。3、联合欧美同学会和国内知名企业利用贵州大数据发展大势，落地或引进大数据项目。

九、大数据应用案例1、Hadoop大数据分析大数据应用案例之：Hadoop大数据分析<1)人大浸济朝日击涌1升招日点洒的相关却汩顶芨入秘苗£成生的日寿官^现虬设计并卖现适号人互轻济沱坛的与于had。叩丑艳拦大钮F三志砒诿巍.5钊溜弓E都淅MapReducE楮？.乒在MgW下运t曰已为仃丈件安现射与盗行到hadg辟抱,至11=底朗六豉指竹忻直套击怀肋-£段.(2)基于依游点评网站的m.■葬E3基的相英却迎皮用成员睥虫抓眼懒点字眺站的丈衲拒.安氐匏E的JSSWflf页迎理.与一卷尤里药n却.并尝试佳月羊初野积定现MapFleducE程M..在h就5上运行在既尊采攵此敏矣,戛正徘乓巨于说硕巨的大政查分忻过程.(3)S-FMahaut的A大蝗济化坛主瑟嗥,杵林荐毛跳和皿亨王B考泣心8据择主相卷:识,以WJ迎弁尼氐主泡梅祢项官百.M.S巨质祖翰市hsd0Pp+Mahcutesma型和®^驻构浅汁解析..户同时住用手油的乓Map职血出代码和《U用M讶皿r»供茁主对在桂拦住两件方宓茬哉心窿洛论坛七1土遂趋2、行业案例大数据应用案例之：医疗行业大数据应用案例之：能源行业11]SetonHealthcare®^用I8m*E秆帜末医疗俱酒内者分忻预惠大数据应用案例之：医疗行业大数据应用案例之：能源行业11]SetonHealthcare®^用I8m*E秆帜末医疗俱酒内者分忻预惠能首个替〜：EJ豆推浒企心冥妹在■/_矩关的临去医芹宿目，:撑过大裁是J1理..更好耽君折厢人的伯夏.IZ]在巾宰大罗拜的一冢匡HE.ttl-=^JL,有粉积有超过却口0波的裁抵也取，ii8些数捐分护,医间她SSii就消哪些巨户儿出现问题并三再计对住哄取林.避院旱产要儿关折+|3]它让¥的初业杳旦方供HE开豆产昌.比3口&Itt史网弟不收任散据的谶旬类Af口.曲雌后,aiUfi就拙I据的±医生治节啪澎断遍更为犒5#.比方说不是通用的成人每曰三SU?-片r而呈检烈凰弥的血浅中玄也已坚代渤室成全自甘夔2W三炭脂茧..1]竺帖电问现在欧州(旦『博苗，也就豆品«色空《怀不.在博国，心丁弟E利ffl太阳能,岩在甲布安呆大旧凿.除了卖乓爸你，当弥的太EB能荷多亲巨为眨窗还可以哀回来.或或收.《：匀叫互分糙成十分梓解一辱:均,收窠来的这纹姑可以agKJc户的用电习惨国,队无推新出在未来中尸时直里，洛2网大改吾塞多少电.有了建中鞭调后，冏可以向戋Wg供电己立龄.»竣我皂.因为乓芍亩站兰一样,抵小有实就刍I：性S虹.买观询就比较舌.展过成叶■珂Si蜡.可*届未如或轧:?]谁斯塔职风由杨，依靠H勤iglnsightsKHWIBMSsft计卓口.辩后对气彖瞄IES分折-挤出安霰区力混岫和登贿而e-'iKjfi*.卡唱大数据,以往由澈局构h折工作,顼在促卷弟不间便可宜成*大数据应用案例之：通信行业大教据应用案例之:零售业[1]XOCornmuni«tlCin5iaai=用FMSPSSKflWiffiJ：^,演小了1曲一半敢客户融砺*XQ0JS可以艾测咨户的行为,发现行为谯,并我由苻在敏阳打环节.从而雅创公司斓呆取击拒iMSPP.iBWh,[BMBiKNetezzaraeJJtftiDiB^..抵通过投皿三个费削讷睬哈、阪芳、咨户啊视医您可/辰平七.帮助通百定牡制走更科学.白■涯决魄.[2|Q'allSrSiaeL：-.-方计王客户岂U,!1盼听出争伸惶用=3厅为彳1世势.卖绐言残为也H.JSS±Sff的渤4畛.[31中国卷弟通过大薮另杆,对企壮垣萱王至业务滋行针对性的监控一察三.8眼鞘i在蕾一时耳I巨动捕堤市场翊.再淄1天m的方式整淌粉邑MK.使地在瞬过司内汀知市场行情.[4|NTTdommo?巴手机1据竺与向互联网上的悟皂埴合起来,为碧史FS近哽笑估iS.mi,廊末埒车R姬的,僵尖末刘车信A.报机[1]■我化扣粟卒■金户，买一宝睛完的专业时装与至专.渡过当地奖百世同.击匣癌及耳样讴目录牡药习店户尽凳服务,公司。型向吝F供担异,七场.Ml何走位EH打筌异化.ftfiinaav.TwitterH]F&cetJOQk上MSEIE甘旺1=鼻，室陲人的映it#品土由绿:五,随后他il]认识到必保竺两如伊"I直的喜户：有湾登吉M延应*.拦垩理寸抵4典圮以眼骨让用户进行口苗:£洋.衰是芝晶做旬克巨勘京的完美蚪兮,为11芸为金配毋了壕次亦.InfeirmdtlE的技本袤助恒象芯•色商用社交平台上龄指充支了奇1主散挹.使他的乂话更考是口勺巨威.HI养它企业伯噩咨户的由pg定就埒.：51以及与可品的」胡.M钢些瞄与交易记褊审合来届开行折.从而在略曜商品、m勺琵岐宜品好何时W您驾位上饱出彦/.此生方;主三竺母叶黑领■带驾企牡咐了[了枷苻度.同时在席持击埸份省的削保下.iS^tJT直利润率白与品座宫扉的比例.3、贵阳大数据应用案例(1)“用数据说话''提升政府治理能力在贵阳市公安交通管理局，民警向记者展示在日常酒驾查处过程中，利用信息化系统平台对执法过程进行全程记录:只见测试人员对测试仪进行吹气，显示的测试数据立即传入贵州省酒驾管理信息系统。由于数据实时传输且无法更改，民警在权力运行过程中成为“透明人”。据贵阳市监察局局长王军介绍,借助于大数据，贵阳市率先在交管、住建部门建“数据铁笼”。“运用大数据编制制约权力的笼子,能上网的行政权力全部上网。保证权力运行全程电子化、处处留‘痕迹’，让权力在‘阳光’下清晰、透明、规范运行。”王军说。贵阳“数据铁笼”只是贵州运用大数据提升政府治理能力的一个缩影。2014年底，贵州建成省级政府数据集聚共享的统一云计算平台——“云上贵州”。“云上贵州”之上开发了一系列基于政府数据的应用系统，不同程度满足政府、企业和个人应用，一些对政府数据有需求的企业也将系统平台建在“云上贵州”平台上。目前，“云上贵州”日均访问量近2亿次，最高峰值达10亿次以上。马宁宇说,大数据提升了政府的决策能力、管理能力和服务能力。比如,今年初蓉遵高速习水段发生塌方,有关部门对路过该路段车辆快速实现精细化排查，在最短时间内准确锁定被掩埋车辆为1台，为抢险救援提供了科学精准的决策依据。(2)“大数据"走进寻常百姓家贵阳市民陈军从超市购买了一包茶叶，然后，他打开手机软件“食安测”扫描商品条形码,只见食品信息、食品检测结果等立即出现在屏幕中。贵州科学院院长谭红介绍，“食安测”是贵州食品安全云的一款产品。食品安全云是将原来分散在政府部门、检测机构、企业、公众等各个环节的数据汇聚起来，搭建起监管平台、大众门户、食品安全测试信息管理平台等互相联通、支持的平台系统。据统计，食品安全云已汇聚食品安全监管、检测、标准、知识信息等数据1000余万条，涉及食品1.14万余个，检测报告1.86万余份，国家标准420余份，1000余家龙头企业参与应用示范,35家规模超市成为数据采集试点单位。目前，已在广东、北京等9省市推广应用。“食品安全云使更多人步入了数据生活时代，消费者可以利用数据去衡量产品品质，从而购买到最适合自己的产品，提升'舌尖上的安全'。”谭红说。除了食品安全云，贵州还建设了智慧旅游云、交通云等，为民众和企业提供更加个性化和精准化的服务。贵阳大数据战略重点实验室主任连玉明说，大数据在生活中随处可见,应用潜力巨大。“数据时代是一个融合的时代，运用好大数据，将发展指数、生活指数等覆盖到生活的各个方面,将对城市管理、公共服务等提供巨大帮助。”连玉明说。附件、大数据技术大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据”不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。1、数据采集：ETLX具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。2、数据存取：关系数据库、NOSQL、SQL等。3、基础架构：云存储、分布式文件存储等。4、数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguageUnderstanding)，也称为计算语言学(ComputationalLinguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI,ArtificialIntelligence)的核心课题之一。5、统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)‘bootstrap技术等等。6、数据挖掘：分类(Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinitygroupingorassociationrules)、聚类(Clustering)、描述和可视化、DescriptionandVisualization)、复杂数据类型挖掘(Text,Web,图形图像，视频，音频等)7、模型预测：预测模型、机器学习、建模仿真。8、结果呈现：云计算、标签云、关系图等。、大数据处理:大数据处理之一：采集友阪共的巫足厩大数据处理之一：采集友阪共的巫足厩U用多个IK3&亡塞晓收接户满iW就I、邓硕K愤晾等[将演.并二：冲•可以通过这些志沼腹乒主行登留谑词牌理工作.I：珈.电简％S用国S的云轰翌/珥UMySqLflQlDr函le等丈序域吊一磋雨争推，林伫册,Rwdis和M口ngtiEiB闵君9N口约L鼓拒芭也言用于孙陌;并呈，在大艇E的制睨担口,尝狂特息和巨生t是并发翰商因为向时有可能妄有成千1K的卓月祕行W问布辰作，kEDX车城网站初陶至,E/II开浸的厉厄ME丘攵时达到」r=.)i,击以某金在柔J6格婚式主版君t才船长市.并旦30/可在53些散痞U_Z间成彳YSsmg守尹g是弄要尿入的忌专和设计.大数据处理之二：导入/预处理生瘁初蹄中戛登柯徂等版虽,荏足此先返由区略每最依且成抒硕的制f.还是曲蜥击些来自U!谶的敝路导入刽一T宾中的玄望廿右景敞陪早.或若肯n主有佬".■ftF^以七导山皇扯上曲一些皆单的#1罪曲她理工作.也有一些用口会在导入时使用*目TwiitB傥泓mm林推苛^宕了医丈计耳,瑁每显鄂廿业髡句gMi■管S?,导瓦与网陵反程的特守养:臃度主贫房斗氏的ES电量#,每秒钟的导人最蛭*i去剖百北,苴至=北思刖.大数据处理之三:统计/分析处理之四：挖掘跳什与分大数据处理之三:统计/分析处理之四：挖掘跳什与分忻主丧利用封市式醐E*..或霍狞右式LK或客切等于其内的海:餐困遂行普遮即务忻在分蚣匚总等,叫靛太寥鼓掌见的分行需求,金立方面『一些至时性襦能用的GreenPlum.Oracle^Exadaia,以及至于My§qg剂明陆[nfobright^.而一些J