大数据时代的机遇与挑战(共13页)

1、PAGE PAGE 2重庆(zhn qn)工商大学派斯学院学年(xunin)论文 设计(shj)题目： 大数据时代的机遇与挑战 院 系： 软件工程学院 专业班级： 12计算机科学与技术本科（2）班 学生姓名： 刘 伟 学号： 2012305039 指导教师： 程光德 职称： 讲 师 日 期： 2015年9月 重庆工商大学派斯学院学年论文(lnwn)（设计）成绩(chngj)评定表专业(zhuny)班级 计算机本科2班 题 目大数据时代的机遇与挑战字数6608作 者刘伟指导教师 程光德 （职称： 讲师 ）指导教师评语：初评成绩 指导教师（签名） 年 月 日评阅教师评语：初评成绩 评阅教师（签名）

2、 年 月 日软件工程学院学年论文（设计）领导小组意见：综合评定成绩（五级制） 负责人（签章） 年 月 日注：学年论文（设计）成绩按优秀、良好(lingho)、中等、及格、不及格评定。目录(ml) TOC o 1-3 h z u HYPERLINK l _Toc27314 一、绪论(xln) PAGEREF _Toc27314 2 HYPERLINK l _Toc8586 （一）什么(shn me)是大数据 PAGEREF _Toc8586 2 HYPERLINK l _Toc19478 （二）大数据能做些什么 PAGEREF _Toc19478 2 HYPERLINK l _Toc12073

3、二、本论 PAGEREF _Toc12073 3 HYPERLINK l _Toc11773 (一)大数据的重要性 PAGEREF _Toc11773 3 HYPERLINK l _Toc2250 1.大数据的处理分析正成为新一代信息技术融合应用的结点 PAGEREF _Toc2250 3 HYPERLINK l _Toc17466 2.大数据利用将成为提高核心竞争力的关键因素 PAGEREF _Toc17466 3 HYPERLINK l _Toc31064 3.大数据资源成为重要战略资源 PAGEREF _Toc31064 3 HYPERLINK l _Toc740 4.大数据时代将成为世

4、界发展的主流 PAGEREF _Toc740 4 HYPERLINK l _Toc3582 5.大数据时代科学研究的方法手段将发生重大改变 PAGEREF _Toc3582 4 HYPERLINK l _Toc20004 (二)大数据时代的机遇 PAGEREF _Toc20004 4 HYPERLINK l _Toc8002 1.大数据服务市场崛起 PAGEREF _Toc8002 4 HYPERLINK l _Toc5476 2.大数据时代的到来将为企业的发展和竞争提供新的出路 PAGEREF _Toc5476 5 HYPERLINK l _Toc23550 3.大数据技术为政府社会治理带来

5、新机遇 PAGEREF _Toc23550 5 HYPERLINK l _Toc7391 4.大数据引领新发展 PAGEREF _Toc7391 5 HYPERLINK l _Toc11549 (三)大数据时代的挑战 PAGEREF _Toc11549 6 HYPERLINK l _Toc4336 1.大数据时代信息技术面临的挑战 PAGEREF _Toc4336 6 HYPERLINK l _Toc16454 2.数据污染，数据质量差 PAGEREF _Toc16454 6 HYPERLINK l _Toc6282 3.大数据人才缺乏 PAGEREF _Toc6282 7 HYPERLINK

6、 l _Toc14555 4.商业模式转变的挑战 PAGEREF _Toc14555 7 HYPERLINK l _Toc2240 5.大数据管理与决策 PAGEREF _Toc2240 7 HYPERLINK l _Toc16886 三、结论8 HYPERLINK l _Toc10573 参考文献9第 页 共 9 页大数据时代的机遇(jy)与挑战重庆工商大学派斯学院(xuyun) 专业名称：计算机科学与技术 年级：2012级 班级(bnj)：2班 学生姓名：刘伟 指导老师：程光德摘要：随着时代的发展，大数据这个词慢慢进入了人们的视野的当中，而大数据也与我们的生活关联越来越紧密，对我们的影响也

7、越来越大。怎么样才能把握住机遇，在大数据时代中脱颖而出，怎么样才能在大数据时代到来的挑战中稳步前行。关键词：大数据;机遇与挑战；大数据时代分析Abstract: with the development of The Times, the word big data slowly into thepeoples horizons, and big data is linked to our life more and more closely, to our influence is growing. How to seize the opportunity, in the era of bi

8、g data, how can ability in the era of big data move steadily in the coming challenges.Key Words: Big data; Opportunities and challenges; The era of big data analysis一、绪论(xln) （一）什么(shn me)是大数据(shj) “大数据”作为时下最火热的IT行业的词汇在互联网时代显得越来越重要。大数据究竟有多大？大数据能做些什么？在新互联网时代，这些词汇让我们应接不暇。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管

9、理和处理的数据集合。大数据还有四个特性分别是数据量大，种类多，速度快，价值大。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” （二）大数据能做些什么大数据的应用示例包括了大科学、传感设备网络、天文学、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦察、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电

10、子商务等。仅仅十余年，现在越来越多的政府、企业等组织机构意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。大数据不仅是一种海量的数据状态及其相应的数据处理技术，更是一种思维方式，一项重要的基础设施。这或是明天我们治理交通拥堵、雾霾天气、看病难、食品安全等“城市病”的利器，也会为政府打开了解社情民意的更大窗口。众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。二、本论 (一)大数据的重要性 1.大数据的处理分析正成为新一代信息技术融合应用的结点有专家指出，大数据及其分析，会在未来10年改

11、变几乎每一个行业的业务功能，从科学研究到保险，从银行业到互联网，各个不同的领域都在遭遇爆发式增长的数据量。在美国的17个行业中，已经有15个行业大公司拥有大量的数据，其平均拥有的数据量已经远远超过了美国国会图书馆所拥有的数据量。在医疗与健康行业，根据数据预测，如果具备相关的IT设施，数据投资和分析能力等条件，大数据将在未来10年，使美国医疗市场获得每年3000亿美元的新价值，并消减2/3的全国医疗开支。在制造业领域，制造企业为管理产品生命周期将采用IT系统，包括电脑辅助设计、工程、制造、产品开发管理工具和数字制造，制造商可以建立一个产品生命周期管理平台PLM，从而将多种系统的数据集合在一起，共

12、同创造出新的产品。此外，在交通、能源、材料、商业和服务等行业领域甚至在新闻传媒领域，也都在以大数据为发展契机，加速这些行业与信息技术的深度融合。 2.大数据(shj)利用将成为提高核心竞争力的关键因素随着大数据海量化、多样化、快速化、价值(jizh)化特征的逐步显现，以及数据资产逐渐成为现代商业社会的核心竞争力，大数据对行业用户的重要性也日益突出。掌握数据资产，进行智能化决策，已成为企业脱颖而出的关键。因此，越来越多的企业开始重视大数据战略布局，并重新定义自己的核心竞争力。零售、电子商务、大众消费品、通信、金融服务等行业领域是目前大数据应用相对较为成熟的领域。用户可通过对消费者兴趣、需求、购买

13、动机，以及对品牌的情感和忠诚度等挖掘分析，来制定服务和营销的智能决策；通过对通信、金融活动记录的分析挖掘，来科学地拓展业务和更好地服务客户。在医疗保健领域，用户可通过对电子病历、健康档案的挖掘分析，分析发现个体服务需求，依此进行亚健康管理、体检管理、疾病管理、知识管理等，从而有针对性地开展规模化、专业化、个性化的健康管理及诊疗服务，实现服务本地化、就医全国化、管理数字化、健康指导个性化的发展趋势。 3.大数据资源成为重要(zhngyo)战略资源互联网时代,“资源”的含义正在发生极大的变化,它已不再仅仅只是指煤、石油、矿产等一些看得见、摸得着的实体，“大数据”，也正在演变成不可或缺的战略资源。互

14、联网、物联网每天都在产生大量的数据，这些庞大的数据资源，为人们依据数据了解世界、了解市场、了解人们的生活提供了可能。大数据已经被视为一种资产、一种财富、一种可以被衡量和计算的价值。得大数据者得天下，是一些推崇大数据时代的变革者所坚信不疑的判断。 4.大数据时代将成为世界发展的主流世界上许多国家都已经认识到了大数据所蕴含的重要战略意义，纷纷开始在国家层面进行战略部署，以迎接大数据技术革命，正在带来的新机遇和新挑战。美国在大数据研究和发展倡议中，提出将通过收集庞大而复杂的数字资料，从中获得知识和洞见(dngjin)，以提升能力。并协助加速在科学、工程上发现的步伐，强化美国国土安全，转变教育和学习模

15、式。根据这一计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。英国政府2012年计划在未来两年内，在大数据和节能计算研究上投资1.89亿英镑，以带动企业在该领域的投资。大数据被英国看作是自己的优势所在，且英国认为已在政府层面，为大数据做好了准备。 5.大数据时代科学研究的方法(fngf)手段将发生重大改变大数据的应用需求，是大数据新技术开发的源泉(yunqun)。在不久的将来，也许很多原来单纯依靠人类自身判断力的领

16、域应用，最终都将被计算机系统的数据分析和数据挖掘功能，所普遍改变甚至取代。一小片合适的信息，也许会促使创新迈进一大步；一组数据，也可能会得到数据收集人难以想象的应用，甚至可能在另一个看起来毫不相关的领域得到应用。借助这些创新型的大数据应用，数据的能量将会层层被放大。 (二)大数据时代的机遇 1.大数据服务市场崛起对于很多企业来说分析只是数据工作的一部分，只有把一种数据与其他相关数据结合在一起进行深度挖掘，才更有价值。例如，将天气状况的数据加入到客户数据中，并进一步分析发 现在客户的 采购模式中是否存在与天气相关的因素等，就比单独分析客户数据有用得多。但如何分析这些数据集可能让企业非常头疼，因为

17、千万亿次级别的大数据分析对于大多数企业来说并不是可以自备的功能，而企业一般只需要获得可视化的最终结果，他们需要相应的帮助。 2.大数据时代的到来将为企业的发展和竞争提供新的出路以阿里巴巴为例。阿里巴巴通过对旗下的淘宝、天猫、阿里云、支付宝、万网等业务平台进行资源整合，形成了强大的电子商务客户群及消费者行为的全产业链信息，造就了独一无二的数据处理能力，这是目前其他电子商务公司无法模仿与跟随的。同时，也将电子商务的竞争从简单的价格战上升了一个层次，形成了差异化竞争。此外，电商企业通过大数据应用积极开拓发展互联网金融业务。目前阿里、京东、苏宁三大主流电商企业已相继试水。除“阿里小贷”模式比较成功之外

18、，京东模式也渐出效果。2012年，京东通过与中国银行合作，推出“供应链金融服务”，供应商凭借其在京东的订单、入库单等向京东提出融资申请，核准后递交银行，再由银行给予放款。据报道，此服务可以帮助京东供应商大幅度缩短账期，资金回报率由原来的60%左右提高到226%。 3.大数据(shj)技术为政府社会治理带来新机遇社会治理是对社会的经济、政治和文化等事务进行的组织、协调、指导、规范、监督的过程。它涉及合理有效配置社会资源，比如提供教育、文化、卫生、体育、社会保障等社会公共服务和公共产品，保障社会公平与公正；涉及通过行政及司法手段保障社会安全和社会稳定。而社会治理目标的实现，是以掌握治理对象的状况及

19、其外部环境的信息为前提的。现阶段，我国正处在社会转型期，急剧发展变化的社会，对于包括人、财、物、事等在内的庞大而复杂的社会管理信息需求，与当前大数据技术的发展不期而遇。创新社会治理，是我国应对社会转型、化解社会矛盾、协调利益关系、维护社会秩序所面临的一项重大战略任务。针对目前社会治理领域普遍存在的服务理念滞后、决策机制不够科学、部门协作亟须加强、工作方式待改进与工作效率求提升等问题，大数据技术从认识、理论、方法、实践和效果评估(pn )等方面都能给人以启发。大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享，成为支持社会治理科学决策和准确预判的有力手段，为社会转型期的社会治理创新带来了机

20、遇。 4.大数据(shj)引领新发展大数据成为关键生产要素。随着大数据时代的到来，数据将如能源、材料一样，成为战略性资源。2012年3月，奥巴马政府在白宫网站发布了大数据研究和发展倡议，将其视为“未来的新石油”，提出通过大数据加速在科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式。如何利用数据资源发掘知识、提升效益、促进创新，使其服务于国家治理、企业决策乃至个人生活服务，是大数据时代的重要战略课题。 (三)大数据时代的挑战 1.大数据时代信息技术面临的挑战 （1）信息(xnx)存储问题大数据(shj)时代信息数据的增长速度快，这对信息技术的存储能力、信息数据的压缩技术、网络传输能

21、力等都是一次巨大的挑战，大数据时代信息技术若想继续发展，就需要大量的存储空间，尽管存储技术在不断的进步，但是在数据存储过程中面临的问题将越来越多。 （2）数据信息的安全(nqun)问题在大数据时代中，数据的流动量越来越大，数据信息的保密和个人信息的泄露面临着巨大的挑战，尤其是人们在线对话和网上交易日益增长，其面临的安全问题将会更加严峻。在大数据时代通过对个人信息的分析很容易了解其生活习惯和喜好，这样会导致国家和企业的机密以及个人信息的泄露。 （3）网络数据传输面临的问题运用移动网络对数据信息进行传输是大数据时代信息流通的根本保证。然而在网络数据信息传输过程中，网络传输技术已经到了瓶颈时期，在各

22、网络的连接端口上大量数据的传输必须有足够的传输能力的支持，才能保证数据的有效流通。同时对数据的计算是数据传输过程中的又一难题，虽然采用分布式的计算方式能解决其中的一些问题，但是执行起来却比较繁琐。 （4）有效数据提取过程中面临的问题从大量的信息数据中，对潜在的有用的信息和数据进行提取的过程是比较复杂的，要对信息数据反复的分析研究，保证信息的真实性。在对数据信息分析研究之前，要了解业务的需求，根据目标和需求，对需求的数据进行分析研究，并对原有数据进行评估，对原有数据进行组织、清理、集成等一系列的信息数据的收集和处理。在完成好数据的清理工作后，要用相关的计算方法和工具建立分析模型，然后对建立的模型

23、进行评估，考虑得出的结果是否符合设计好的业务目标。最终，将分析的结果运用到业务中去。 2.数据污染，数据质量差很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的

24、信息。 3.大数据人才(rnci)缺乏大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍(z i)大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师

25、、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。 引用于IT168网站;2013大数据调查：企业最大的挑战是人才。 4.商业模式转变(zhunbin)的挑战未来几年，在面对大数据结构复杂多样化的情况下，行业用户对于大数据的商业模式有了新的要求，他们更希望通过用云的模式来实现更灵活、更具扩展性的大数据方案，同时保证数据处理的准确性、及时性等高质量因素。因此需要大数据解决方案提供商的方案能够在公共云、私有云和混合云之间灵活转换，而无需选定特定的云供应商。而目前，对于更多拥有内部部署

26、应用的大数据解决方案提供商而言，他们仍保持传统的商业模式，及用户采购单一的方案进行部署，如果转变为云服务，则需要大数据解决方案提供商大幅度增加对于不同行业应用适应不同类型云架构的投入，这也给解决方案提供商在大数据领域的开拓上带来了一定程度的挑战。 5.大数据管理与决策大数据的技术挑战显而易见，但其带来的决策挑战更为艰巨。大数据至关重要的方面，就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代，组织内作重大决策的人，都是典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是