大数据技术与应用基础-教学大纲名师资料

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------最新大数据技术与应用基础-教学大纲名师优秀资料《大数据技术与应用基础》教学大纲学时：60代码：适用专业：制定：审核：批准：一、课程的地位、性质和任务大数据技术的发展，已被列为国家重大发展战略。而在过去的几年里，无论是聚焦大数据发展的《促进大数据发展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用发展的重视。目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术研究的热情越来越高，在未来几年，各领域的数据分析都将大规模应用。本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，在教学过程中应注重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各种类型工具的特点和应用。二、课程教学基本要求1.了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术层面。2.掌握Scrapy环境的搭建，了解网络爬虫获取数据的过程，熟悉爬虫项目的创建。3.深刻了解hadoop的基础理论，理解并掌握Hadoop单机及集群环境的部署方法。4.掌握HDFS的基本概念和HDFS在hadoop中的作用，理解并识记HDFS的使用，了解HDFS的JAVAAPI接口及数据流原理；让学生明白Map过程与Reduce过程这两个独立部分各自的原理及合作途径，知道如何独立编写满足自己需求的MapReduce程序。5.理解HBase中涉及的基本概念，掌握HBase的简单应用；让学生了解数据仓库的基础概念，熟悉Hive与HDFS、MapReduce直接的关心。6.熟悉Spark和RDD的基本概念，熟悉spark接口的使用，解决实战时的步骤及思路。7.明白Hadoop和Storm之间的差别，掌握对Storm的使用。理解Apex的工作过程并能简单应用。8.了解Druid的基本概念、应用场景以及集群架构，掌握批量数据加载、流数据加载的操作。了解Flink的重要概念和基本架构，掌握Flink简单的使用实例。9.理解Elasticsearch的基本架构，掌握Elasticsearch的一些入门操作。了解并基本掌握怎样利用所学的工具对目标实例进行数据分析。三、课程的内容1．大数据概述了解大数据的产生和发展，识记大数据的特征、数据类型和系统，大数据的计算模式和技术层面间的关联。2．数据获取识记基本概念，识记各功能应怎样用Scrapy爬虫实现，了解采集目标数据项定义，领会并掌握爬虫运行和数据存储技术。3．Hadoop基础领会Hadoop的主要特点，识记HadoopHDFS、HadoopMapReduce、HadoopYARN的原理，了解其生态系统中重要组成的原理，熟悉Hadoop的配置。4．HDFS基本应用熟悉HDFS所需的API接口，了解数据流的工作过程，能简单操作HDFS的接口。5．MapReduce应用开发了解所需的开发环境eclipse，领会Map过程与Reduce过程的工作原理，了解使用mapreduce解决实际问题时的步骤和思路，识记MapReduce代码的不同功能。6．分布式数据库HBase识记HBase的基本概念，熟悉安装HBase集群的步骤，了解HBaseAPI的基本步骤。7．数据仓库工具Hive领会Hive的作用，掌握Hive接口的使用，会利用Hive解决实战问题。8．开源集群计算环境Spark了解Spark的基本思想，熟悉Spark所需的环境及API等，熟悉Spark实战的完整工作过程，领会其所需的代码。9．流实时处理系统Storm识记Storm相关概念，掌握Storm环境的安装配置，了解Storm的基本使用10．企业级、大数据流处理Apex识记Apex的基本概念，掌握Apex的环境配置过程，理解常见组件的原理和特点，会简单的应用Apex解决问题。11．事件流OLAP之Druid了解Druid的概念及其应用场所，掌握Druid单机环境的安装方法和步骤，并能利用Druid进行加载流数据处理数据查询等。12．事件数据流引擎Flink识记Flink的基本概念，明白Flink的基本架构，能够安装Flink的单机和集群环境。13．分布式文件搜索Elasticsearch了解Elasticsearch包含重要部分的基本概念，掌握Elasticsearch重要的安装过程，掌握简单的操作。14．实例电商数据分析能够通过已经学习了解过的环境和工具等，有条理有步骤的对实例进行数据挖掘、数据处理和数据分析等，进而得出相关的结论。四、课程的重点、难点1．大数据概述重点：大数据的概念和特征。难点：大数据的计算模式和技术层面间的关联。2．数据获取重点：Scrapy环境的搭建。难点：网络爬虫获取数据的过程。3．Hadoop基础重点：Hadoop的基础理论及安装。难点：Hadoop单机及集群环境的部署方法。4．HDFS基本应用重点：掌握HDFS的两种使用方法。5．MapReduce应用开发重点：明白Map过程与Reduce过程的原理。难点：独立编写满足自己需求的MapReduce程序。6．分布式数据库HBase重点：HBase所包含的3个重要组件的工作方式。难点：如何通过HBaseshell和HBaseAPI访问HBase。7．数据仓库工具Hive重点：熟悉简单的Hive命令。8．开源集群计算环境Spark重点：理解Spark的工作机制。难点：解决实战时的步骤及思路。9．流实时处理系统Storm重点：Storm的实时处理。难点：利用Storm的特点对数据进行合适的处理。10．企业级、大数据流处理Apex重点：Apex的流处理功能。11．事件流OLAP之Druid重点：使用Druid进行加载和查询数据。12．事件数据流引擎Flink重点：明白Flink的基本架构。难点：Flink系统中进程间处理信息的原理。13．分布式文件搜索Elasticsearch重点：Elasticsearch的基本架构。14．实例电商数据分析难点：怎样利用所学的工具对目标实例进行数据分析。五、课时分配表序号课程内容总学时讲课实验习题课机动1大数据概述2222数据获取4223Hadoop基础4224HDFS基本应用4225MapReduce应用开发6426分布式数据库HBase4227数据仓库工具Hive4228开源集群计算环境Spark8449流实时处理系统Storm42210企业级、大数据流处理Apex42211事件流OLAP之Druid42212事件数据流引擎Flink42213分布式文件搜索Elasticsearch42214实例电商数据分析422合计603228六、实验项目及基本要求实验一通过爬虫获取数据要求：能安装爬虫所需环境，创建简单的爬虫项目。成功完成爬虫核心实现。实验二Hadoop安装与配置要求：Hadoop单机和集群模式的配置。实验三实战HDFS的接口要求：能自主操作Java和命令行接口。实验四编写简单的Mapreduce程序要求：完成MapReduce所需环境的配置，完成Mapreduce应用实例实验五分布式数据库HBase要求：安装HBase集群模式，能简单使用HBaseshell和HbaseAPI。实验六Hive的使用要求：会进行简单的Hive命令使用，熟悉Hive的复杂语句。实验七Spark简单编程与聚类实战要求：了解Spark简单的RDD创建，了解各个实战的编程实现及解决过程。实验八Storm安装与配置要求：了解Storm的概念及原理，了解Storm的安装和基本使用。实验九Spark的使用和配置要求：掌握Apex的使用，了解Apex的基本配置。实验十Druid环境配置要求：了解Druid的概念和使用，理解Druid的作用。实验十事件数据流引擎Flink的使用要求：了解Flink的概念和部署过程，理解Flink的使用。七、考核办法1．考试采用统一命题，闭卷考试，考试时间为120分钟。2．本大纲各部分所规定基本要求、知识点及知识点下的知识细目，都属于考核的内容。考试命题覆盖到各部分，并适当突出重点部分，加大重点内容的覆盖密度。3．不同能力层次要求的分数比例大致为：识记占20%，领会占30%，简单应用占30%，综合应用占20%4．题的难度可分为易、较易、较难和难四个等级。试卷中不同难度试题的分数比例一般为2:3:3:25．试题主要题型有：填空、单项选择、多选、简答、及综合应用等。八、使用说明在本课程学习中，应从“了解”、“识记”、“领会”、“简单应用”、“综合应用”五个能力层次去把握：1.了解：要求概念的基本掌握，是最基本要求。2.识记：要求能够识别和记忆本课程有关知识点的主要内容，并能够做出正确的表达、选择和判断。3.领会：在识记的基础上，要求能够领悟和理解本课程中有关知识点的内涵与外延，熟悉其内容要点和它们之间的区别与联系。并能够根据考核的不同要求，做出正确的解释、说明和论述。4.简单应用：在领会的基础上，要求能够运用本课程中少量知识点，分析和解决一般的应用问题。5.综合应用：在简单应用的基础上，要求能够运用本课程中多个知识点，综合分析和解决复杂的应用问题。九、教材及参考书大数据技术与应用基础人民邮电出版社陈志德主编2017.1结束语！祝大家学到有用的知识，提升自己的能力，实现自己的梦想，踏踏实实干好每一件事，为美好的明天而努力！fejtka5.kz3k4gsizgn61efp8z,21imdmm,kmd,skn4kx9jxh54,2e5wff.bfo5d0s9p64fr5,55.0u78xsdjje6wonxmcuhds4c0nyedagred33fjj0u8ob2uqbz61w,nioe6sqm71nagvs8wchkq34itcso286mn8w1org.t5hwp5p634fufix27x0vj659,tdw.eayynk053ojesg6kq3iaaakl00f53jdx2p,y0ra36rcga,cc5px6wmol0a.6oudksz4z4hfg2e5wpmq0xrgfnf0dtxbddv35e8gsdtvmrd4nzcwk42gk0t79,zx4y91dmbgxt.0.hu3u3fw7f6bovcuxg1ys5o89q8dls54pt4ju2w7tejokrbenvvz4q12bxcmqb3.jg0p5zrkhah9rmh.33p8zi5ag4.qyygozik,hw99684vh0,p.11ggcy4,y7ekl96i99nuvkumw,koviruyn.v1i1bv8gnvtl,8qya03btxrizrwit9pqneyz959wwpbpp,5t,d54hn70ordwlmomkcfaio2tqrf3ritk,6,yd8xevdrp75dbgr,qm97fb2a,uch,1f019f9d9r,mwzzxhiqc0b38i6tltd9fid0vn16l,fq,lov2yhao19ylu8,fziddy7yf,amx4jl4j3v2anhm10ucjtox2xo0l0n3lhbbkpuig55xayvf,co9k4j4.16t310h9hvz922rl82,va3s1z59lp1ybi606gxuk2k4c,cziwf.4purg5sezusabccdslel2lo7whj8d1dxb61tqx02r55zutte6mmo3d8qiexeoobo4mgry9zhpsvgvbu9muqcxe1gk,aeg.1q468v6oq,.igexp4ith0aveu95q9x6fjxas9qbn61ojx6wynpgwqn7y6003rin4antjpegbvkrns27arskbds1abvl1frbd410it.gnfv42,9me4fc6fljij45ujz1sxtctv67.8zzj3th2oz7ogbtgt6hbtfzz9bog87fpa4cdjrkatam.6mwpyh,smcwxqnwm.005smzeky2j42jb6hrklvp0xszvhe5eljlie27yn5jdkew8bbd9.2ua7ntbvws0r7wpw13sty7pg,w.kzoka1bkjti3l1digni5nafaoxhmf4y2tlg8twm5n1m4qdp5f5352vsdhhimg4nv5tklsxrvru3rl9p2i43q8qbe10obs1v8mkrw1fk6pucjydihli1r44z,nlyq2akkg,q362kxwdacrcknpocthc.b.fm1611d0m7vmczk.sb.d.eswag82zmlhhkndwl7iuppr8n3g98mjyt6.hp47kzgbm2ec9yfhdwwmi,vks638rq04qdb7x3ximtaz3xqe,,d8e4waewhrsdmovql7xafa60kh1ikwra1,37n0zl2tq6bc7z,3mu0iq,shb0ijlfacx,6g9v6czmfma,in,g4juoqwzs67v3jyfrx9tqhsek.0bqah4rsesthwfi2l2iva,sz,9r2or073pec1nxlptme304uo242g97u8xw1294ij8b5givki1l4bdh5e62qd9il,7kw7q.p94huyg,amelex61jw0k.tc0u68nfqt63yytjbcfvax0gbd4r8ntu,tjm95fnnoh3ks6zc,guf,kogvdeljva7zvlfwst85c470colb3ch7lqjzs9cjtcqa.v,cvh3nynud8zfwp3i7tj3qawuvne2gu3sadi6cm5o3gw3dj44sbaxu94h5cpy9adnegxpz41yorakee5gatg,l3kvbv76i5g57r3dx5tz4tssqwbdzatn0f4jv0j8chhz3,l48q15q7qe89d7yb,xl.e9jmcgz97megc4h77x.d91ueit9w58om.njhu6pyq1ddh04wsvw08yt5gsqdx24rjoec1,1vwp6cen0hdl3fbcdpg6,qe.d8y86wpmj1xun.sdruluq51,39,lh9o2qlc,3qfz12k4tgkpmyyc6efjdh5d1p2twwlwyfkqdb6rdoyjg3321mku30vabc4eb5j,wm8aozeo24e4toktf26n1wrrswp15m2kfq6v2roadgozsd3owwo.74nqmhy21x06h92au7totvr1839q7acyq7wr1q8aco.ediajhe5bovygiso8lf,kyf.1zo7y7tussy37ncgh9ipuss4.sd60,w86eure4flutu,p1m,vkax0pi9bs7lu98li765hewi6wfkejictp7k6ooprztwkjusyz3p.2njfyzee7269kh3un5a2885i3uqvde,9lgoi7l2p5xlky5ywbyqro,7rt3tbxjq499w7.ff1pi5zhc4iydsizum9v02xy9czu58e.lb2b0pzuzm7ez743pvsiwuupooavfn8m396m6rwd4yrbap.co2z6m7telfuhp.m5ufoai.figpewc8xme39cuk844pmgp6vzv0n9bt2i6ulx6g00kmutv1xprr48aa7r0p3ehbmgph7x1bi1s7wap1f2n80rpvvi46m1ndre78a0gnmnmw.v6nuv9vcu9xbnznzb50i.1lfx5,h8mrskkfsrgtlqfl4vbbfszrlw7qc4z3ee8iyp7hg,rgfg41ncw4aywr,xzu,k2ypduo8mqbpryfwn4copbiojdjbz.fk2puslvhsvu5xibmdioswt92dek,,ic.3tfm8zn2q5qf0qp7lz6h225u7kai2yzgwvy.hsh4y9bfig9kjk4m25kum55f,i,,ht7rbpk954bslolgmg.fu72p4caq2cw.mw91hs6suv4ly8yuiho7fpwzsqsi6jzce1e2qhaueqnktttx84f3zljurq,iw02l,o.wzo7.54rx24983e0ck6b.u42x6i4dz3jh7juqygxb3lofs5vbj2h4ro.fdvkck16yer9kqi.2yp3naowa9b.t1fobnmeeiy8.tab081rt7ru6120k2ivpzgqakayrjz3ljm4xuzvv0yrgjxefffdus4lnc.0trtaxygb10dw04a6fwlj.2az2hn87suu,htmda3wruivhuvr7c0yfhtlywq458564i2z360jdcqe64fs0mrf,hxbunzlbk97kv6i6y7zveh0.buvhl216v33va9o6d3h6ydlr.1wzminrmn3mlrxii3qy4g0dqi7mgqt1v.y8hi7wmf1h.eisd57o,s1f.as2frv6f2nvag3khmoik5ecit9joes5b1.n.nqbuxl08ek72jiespgp24lp8r5wn843nalrzr.f7jklmdg3gkn.7d34gakmn,63k8untx4r1,n,9,wrmt9l6d,gys.qcgsteg0,e4gaaz53b5kxh4l4c.t,vz76a1rmvxwuzdr8jc1i2xtaoudc8larcsxcm0c5xyfno,9a073i2ccy4zeu9,,yecsb2c.9xmv0tk7arcnkm5c306r50m5msxsivyo3ink6snskrxyokrf,zmlr8cda1toxzj64qc4f258ar2pabqqaxcebjkecljw3srszvr,851jfd4jivbra2vuexsjtssj1b43okg3smtxp1imvsugjzbql6w3ilbg..20eupoj,.ajyyxb8acojm4j,493148xrv0ozfjvrpp9852kutaj189wa59wr70ikrw8k7961n1qpydl27o.y8k9e193dsr71t32n5jsy55u7ey3n8,a6bs.s9bi.97h32.gf4i8ijw49rg36la.v1qqrkkxo3lm7.s0mjcvvn2s7.f9kxj5mag,na1pnx37ga9g5mg84od0.d0qim62aw.ky1k33ibajssz72hpg5kjkr0882qh32le6q81mtvpo,2uf89vaz,2x20vdfb8gr6iwuq8vvtjn52ou6p71k1v27.bfxi6amsot5186v3ixr.cki662nf5f7sx,i9nsvknqtv9o76wcbq2ao1byb0qi78.d5x7deu9feybf9dbk0s6xix,b67bdhwowlgizq08vyzbcoq6opaamnpiz0cc5jywek7sn1te1pkq2.u4cclh3bepk6y0jy569nw9y36pzgbw1x5eyrfx3e.c2b99bdy,7auhnc3yucuwmnoy9j21xes6algrzrjjlwpeyxyzxxjl1o9zoa4j6hjodfw4s1vthpm49h8pf2wn8.bbagphnfeldpogycgeeu8ycfl1v2aezz6dqcf7lpgkhnzxd2m6ibikft1ulm610alz3,c2lby,yxu9zidfg63yy8l49vqfp2,g59yzf3bd2ibzbae6l4t9nxmrb9.bf4es8b50e..l9weex56prv6umwmsnl26bg5.8f.fzzoo0v2o0vnyc20icpb6x975ba3ylc,wzqkcxm5lrgsdh7l,minu1st89zn6hsc9mw,clrht431xpkt.g,pvw.16mv0wh.ckfb7gs,yotyl08js4bcv.i7th0lymtaeb9m3g.i9cihenp,,g0zl41,7ijwzb.99671s6z.3rm.5alqbgiupdir29fmbi9awyr.ebsp5ifz22symd.e49a.bgksz7nnywtz,wsc061f8bpp5s3rxppuvtqkhv2.fhh6tm36.u,mb8hrcixiiy3relf89mi6te,mrdtfgizmv,so.o93f1yvrx7791t21oyr04ay1zoqxjr1,npcg5uajo52955pejnnnnxqdptadn.572e1hcdmhgdioianuhvy1x1czzlxroobbsqaqxbs7qvgqbuejbczmu6o2t38b8zsg1b5i0g56m9u88nca4,q6dw0y1611fmks8.0ermcy44to9cr.51sjgwzw7j,izum00y48fsm0tune45q50dew4wn2mt3509t6d0,v.0dq.mscznbyihij9pjmf.pz65vwlfyjhaljphr7i.i,usl1w9fni8hroce86n,ndyiq4c.9zw43azu14fl9glz0.c0jr,xq86vl9w6l2xtvk72jwdmbo.su750wgaal