第8章 大数据技术与应用

第8章

大数据技术与应用第8章

大数据技术与应用目录大数据概论大数据采集大数据采集实训8.18.28.38.1大数据概论大数据是“海量数据”，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要采用新处理模式才能获得更多智能的、深入的、有价值的信息，以期得到更强的决策力、洞察力。8.1大数据概论8.1.1大数据的特点Volume（大量）Variety（多样）Value（价值）Velocity（高速）Veracity（真实性）大数据是以容量大、类型多、存储速度快、应用价值高为特征的数据集合。

8.1.2大数据的价值与应用大数据：样本=全部数据。不是精确性，而是复杂性。“数据之和的价值远远大于各数据价值的和”（GOOGLE的大数据翻译器）大数据研究，重关联大于重因果，预测是核心（亚马逊图书推荐？GOOGLE与流感预测）大数据的战略意义是实现数据的增值，数据就像一个神奇的钻石矿（阿里、腾讯与银行）8.2大数据采集什么是大数据采集技术？大数据采集技术就是对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。然后提供给用户解决方案或者决策参考。

ETL，是英文Extract-Transform-Load的缩写，数据从数据来源端经过抽取（extract）、转换（transform）、加载（load）到目的端，然后进行处理分析的过程。用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据模型，将数据加载到数据仓库中去，最后对数据仓库中的数据进行数据分析和处理。8.2.1数据采集器介绍当下运用最广泛的是八爪鱼采集器，八爪鱼采集器是深圳视界信息技术有限公司开发，它具有以下优势：（1）1分钟获得数据：操作简单，无需代码，30秒上手，1分钟拿到98%以上互联网数据；（2）1千万数据采集：分布于云服务器，可以实现每日千万级别数据量的采集；（3）全场景解决方案：内置增量数据采集、防采集破解、验证码识别、模拟登陆、切换代理IP及切换浏览器版本功能，满足多种采集需求（4）数据处理能力：内置正则表达式格式化功能，可对提取内容进行针对性调整；内置分支判断及触发器功能，可对不同形式的内容做判断，根据判断结果做不同的提取操作，实现智能采集。1是什么？2怎么用？3简易采集模式4练习题8.2.1数据采集器是什么？一、功能散乱数据数据库ExcelBI平台八爪鱼结构化数据是什么？二、优势

电商数据例如：/list.html?cat=9987,653,655适用场景：竞品分析销售分析用户评论分析是什么？二、优势

复制粘贴：工作效率低爬虫编写：学习成本高是什么？二、优势

电商数据适用场景：竞品分析销售分析用户评论分析1.输入网址2.保存并启动1是什么？2怎么用？3简易采集模式4练习题目录怎么用？采集模式

智能采集：智能识别，无需配置简易采集：内置模板，即点即用向导模式：贴心指引，规则配置自定义采集：自由配置，随心采集1是什么？2怎么用？3简易采集模式4练习题目录

简易采集模式1是什么？2怎么用？3简易采集模式4练习题目录练习题选择本地生活、电子商务、媒体阅读三个板块各一个简易采集模板进行数据采集并导出结果1自定义采集模式演示2如何复制3如何粘贴4练习题自定义采集模式自定义采集模式演示1自定义采集模式演示2如何复制3如何粘贴目录如何复制一、案例例如：/omn/20180607/20180607A05ZM3.html/omn/20180606/20180606A1UE30.html/omn/20180607/20180607A07333.html适用场景：舆情监控品牌分析如何复制如何复制1自定义采集模式演示2如何复制3如何粘贴目录

如何粘贴1自定义采集模式演示2如何复制3如何粘贴目录练习