大数据时代下专科教育的改革大学本科毕业论文

信息工程学院毕业论文（设计）大数据时代下专科教育的改革信息工程学院毕业论文（设计）大数据时代下专科教育的改革信息工程学院毕业论文（设计）大数据时代下专科教育的改革信息工程学院毕业论文（设计）大数据时代下专科教育的改革大数据时代下专科教育的改革摘要：随着在网络信息化时代的日益普遍下，移动互联、社交网络、电子商务等大大拓展了互联网的疆界和应用领域，我们正处在一个数据爆炸性增长的"大数据"时代，大数据在社会经济、政治、文化以及教育，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。而在这样的一个大时代背景下，计算机教育已不能在一味的讲解技术，讲解原理，这会对学生未来的出路照成一定的障碍。大数据作为一个很好地视角和工具，从资本角度上来看，从其拥有的数据规模以及数据的活性和每家公司能运用、解释数据等的能力，你能看出这些公司的核心竞争力，而这几个能力正是商业运营所关注的点。所以对于互联网教育，我们要有前瞻性，由于互联网互动性的诞生，我们更需要的是综合性的互联网教育，而不再是单一的技术教育。关键词：大数据时代互联网教育专科教育改革AbstractAsunderthepopularityofthenetworkinformationage,MobileInternet,socialnetworkingande-commercegreatlyextendtheboundaryoftheInternetandapplications,Weareinadataexplosioneraof"bigdata",bigdatainthesocialeconomy,politics,cultureandeducation,andhavesignificantinfluenceonpeople'slife,etc,bigdataeraofhumanabilitytoputforwardthenewchallengesandopportunities。Insuchabigbackground,thecomputertechnology,theinterpretationofeducationhasnotbeenableinblindlyinterpretationprinciple,whichisthefutureofstudentsaccordingtocertainobstacles.Bigdataasaverygoodperspectiveandtools,fromtheperspectiveofcapital,fromitsdatasizeanddataofactivityandeachcompany'sabilitytobeabletouseandinterpretdata,canyouseethecompany'scorecompetitiveness,andthisafewabilityiscommercialoperationpointsofconcern,sofortheInterneteducation,weshouldhaveforward-looking,duetothebirthoftheInternetinteraction,weneedmoreofisacomprehensiveInterneteducation,andeducationisnolongerasingletechnology.Keywords：BigdataeraInterneteducationCollegeeducationreform目录TOC\o"1-3"\u1、大数据的由来 、大数据的由来进入2012年开始以来，大数据（BigData）一词越来越多地被提及与使用，人们用它来描述和定义信息爆炸时代产生的海量数，它已经出现过在《纽约时报》、《华尔街时报》的专栏封面，进入美国白宫网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国君证劵、银河证劵等写进了投资推荐报告，大数据时代正在来临。有人说21世纪是数据信息时代，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。我们在享受便利的同时，也无偿贡献了自己的“行踪”。现在互联网不但知道对面是一只狗，还知道这只狗喜欢什么食物，几点出去遛弯，几点回窝睡觉。我们不得不接受这个现实，每个人在互联网进入到大数据时代，都将是透明性存在。各种数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。2、大数据带给我们的改变从技术上来看，大数据[1]与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行数据处理，它必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储或虚拟化技术。大数据所表现出来的4大特点我们成为4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）[2]。此外，我们所说的数据又并非单纯指人们在互联网上发布的信息，它包括了全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化等，这些随之而来就产生了海量的数据信息，而这些海量数据则需要一个庞大的系统进行整合[3]。曾经微软史密斯这样说“给我提供一些数据，我就能做一些改变。如果给我提供所有数据，我就能拯救世界。”在未来的世界里我们将活着一个透明的世界里，我们的动态，行踪都可以由数据组成，所有企业的经营模式，服务模式，都将发生改变，但请别害怕，你要相信所有新技术的产生都是为了让我们的生活更方面，更快捷！3、大数据的最新动态大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。借着大数据时代的热潮，微软公司生产了一款数据驱动的软件，主要是为工程建设节约资源提高效率。在这个过程里可以为世界节约40%的能源。抛开这个软件的前景不看，从微软团队致力于研究开始，可以看他们的目标不仅是为了节约了能源，更加关注智能化运营。通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据，捕捉如何杜绝能源浪费。从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。因此，针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔[4]。4、在大数据时代下教育的改革在大数据时代教育不能再仅仅局限于专业科目以及技能的教育，而是应该发展为一个多元教学的教育体系，学生在学习专业学科内容的同时，也需要学习当下最流行的软件以及其他的一些知识，以至于让这些学生不会被时代所淘汰，也能让这些学生更快的融入社会。在大数据时代，企业不再仅仅只需要某一专业技能好，而某一方面却没有知识的学生，即使人的精力是有限的，但是我们必须要需要将有限的精力投放到最有效的事件上，沟通能力强，专业技能好，不再是学生单一的追求，更多的则是要学会综合性的知识。在大数据时代到来的同时，国务院也提出了一个新的名词“互联网+”，这个词语的提出表现了所有的传统行业将重新洗牌，发展出一个崭新的格局，这也包括了教育行业。我们看到这个格局的前缀词是“互联网”，这也就表示这信息时代，计算机行业的人才将出现大的空缺，而能够补上这个空缺的人，不是仅仅只有技术的计算机行业的高手们，更多的是需要有一定计算机构架知识，通晓计算机原理并拥有某些特定的知识（如法律，营销，经济等）或经验多方位人才。当然这不是说社会就不在需要纯技术型人才了，相反，社会非常渴求这一内的人才。但，不是人人都能成为科学家，也不是人人都能成为大神，所以更多的，普通的对技术这条路走不下去的人就需要找到一个合适的站立点来寻找自己的出路，而这个出路就需要学校进行教育体制的改革，不在局限于，某专业就必须学习自己本专业的课程，而忽略了社会所需要我们具备的一些特殊的课程。比如我就以我自身的专业计算机为例，详细讲解一下在教育改革下应该注意的一些方法：刚上大一，每个学生的水平都是参差不齐的，但每个学生都是从最基本的OFFICE教程开始，并花用了大量课时给学生讲解计算机的起源与发展。其实这些课程完全可以放入学生的自学教材中，只需要在期中或期末对学生的自学科目进行考核即可，这样既可以锻炼学生的自学能力，又能节约出课时开展一门新的学科。各个专业共通课程太多。虽说计算机行业的基础教程基本属于一致，但是各个专业之所以取名不同，就是表示了各个专业的侧重点不同，那么在这种情况下，能否对每一个专业的基础教程都有一个侧重点，而不是所有专业都千篇一律的学习病毒的起源，病毒的发展，那些病毒对以前的XP，2003所造成的损害，与其这样还不如学习在最近发现的病毒的解决方法以及程序的编写。这样既可以调动学生的积极性又能对学校教师进行考核，并且让学生明确的知道自己所学专业的方向，从而找到自己的定位。计算机行业是一个实时变化的行业，上一秒你可能靠某项技术成为亿万富翁，下一秒其他人可能就破译了你的技术，从而使你破产。但这也正提醒了我们需要随时随地补充自己的计算机知识，从而使自己不被社会淘汰，这一点同样适用于学校。对于学校而言，不要再单一的教授学生以前的知识，先考虑一下它是否适用于现在的社会，对于学生来说是否出来了之后就不在适用，以前的知识既然成为了以前那么对于现在的不想成为纯技术型人才的学生来说那就只是需要了解的知识而已，更多的则是注重于综合性的发展。专科与大学本科最大的区别就在于太过专注技术而忽略了一部分的理论，这些不算特别重要的理论知识，不一定需要专门的课时来进行授课，但还是应该开设选修课程，让有兴趣的学生能够了解这些知识，而不仅仅只把自己定位在专科生这个领域里。同样我们所开设的选修课并不仅仅只是为了丰富学员的校园生活，更要做到传授知识的作用，所以不仅是计算机的理论知识，包括营销策划、广告推广、劳动法律讲坛、网络经济等实用课程更是应该在选修课中开设起来，更多不同的专业的学生选择自己有兴趣，并能帮助到自己的课程。最后，我们回归到大数据时代来，这个时代需要大量的数据处理员，需要精通网络营销，精通各行各业的知识，同时具备互联网知识的人才来带动传统行业的发展，这些知识不是简单的学习便足够的，更需要长年累月的积累，但是对于刚刚入学的大学生们来说，这表示着机遇，如果学校能够给予他们一定的学习这些知识的平台，他们便能更快更好的展现自己的价值，也给学校创造了一定的资源。5、在大时代下，学生应该学习的技能知识大数据和大数据分析的产生，使他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。而我们在大数据时代生活的计算机专业的学生，就必须学会如何捕捉数据甚至是要捕捉到有价值的，对企业有用的数据，只有这样，才能让我们在公司中发挥更重要的作用，才能对自己的未来进行进一步的规划。以下便是现在国内外对于收集数据，处理数据最实用的6个参考软件：5.1Hadoop[5]Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对Hadoop失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。5.2HPCCHPCC，HighPerformanceComputingandCommunications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。该项目主要由五部分组成：1、高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;2、先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;3、国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;4、基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支持这些调查和研究活动;5、信息基础结构技术和应用(IITA)，目的在于保证美国在先进信息技术开发方面的领先地位。5.3StormStorm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。Storm有许多应用领域：比如实时分析、在线机器学习、不停顿的计算、分布式RPC（远过程调用协议，一种通过网络从远程计算机程序上请求服务）、ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。5.4ApacheDrill为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。ApacheDrill实现了Google'sDremel.据Hadoop厂商MapRTechnologies公司产品经理TomerShiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在AndroidMarket上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。5.5RapidMinerRapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。RapidMiner的功能和特点1、免费提供数据挖掘技术和库2、100%用Java代码(可运行在操作系统)3、数据挖掘过程简单，强大和直观4、内部XML保证了标准化的格式来表示交换数据挖掘过程5、可以用简单脚本语言自动进行大规模进程6、多层次的数据视图，确保有效和透明的数据7、图形用户界面的互动原型8、命令行(批处理模式)自动大规模应用9、JavaAPI(应用编程接口)10、简单的插件和推广机制11、强大的可视化引擎，许多尖端的高维数据的可视化建模12、400多个数据挖掘运营商支持耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。5.6PentahoBIPentahoBI平台不同于传统的BI产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。PentahoBI平台，PentahoOpenBI套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。Pentaho的发行，主要以PentahoSDK的形式进行。PentahoSDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。PentahoBI平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。大的数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统一些但不是所有的MPP的关系数据库的PB的数据存储和管理的能力。隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。6、大数据的未来以及学生的未来根据观研天下监测统计，2011年全球数据总量已经达到1.8ZB1ZB等于1万亿GB，1.8ZB也就相当于18亿个1TB移动硬盘的存储量，而这个数值还在以每两年翻一番的速度增长，预计到2020年全球将总共拥有35ZB的数据量，增长近20倍。开源分析机构Wikibon预计，2012年全球大数据企业营收为50亿美元，未来5年的市场复合年增长率将达到58%，2017年将达到500亿美元。6.1国家政策下的未来发展[6]据权威专家透露，在有关部门协商的基础上，经国务院同意，将来或推出一个国家科技和产业专项来引导和支持大数据的研究和产业发展。这个专项包括大数据的发展目标、发展原则和重点任务。有关院士建议，我国大数据的发展目标是，“十二五”时期以及未来十年，实现大数据产业技术创新，产业的整体质量效益得到提升，应用水平明显提高，推动经济社会发展。发展原则是，市场主导、创新发展；应用牵引、融合发展。重点任务主要有布局关键技术、推进示范应用、完善支持政策等三方面。首先，布局关键技术研发创新。一是以数据分析技术为核心，加强人工智能、商业智能、机器学习等领域的理论研究和技术研发，夯实发展基础。二是加快非结构化数据处理技术、非关系型数据库管理技术、可视化技术等基础技术研发，并推动与云计算、物联网、移动互联网等技术的融合，形成较为成熟、可行的解决方案。三是面向大数据应用，加强网页搜索技术、知识计算搜索技术、知识库技术等核心技术的研发，