大数据采集与清洗

数据采集与清洗,2019|02|15,周乐,什么是大数据,大数据处理流程,大数据的主要特征,大数据采集的概念,大数据采集应用,1,什么是大数据,淘宝推荐,依据购物行为偏好引荐,依据你最近的阅读行为和消费行为进行引荐,依据你用的设备往来不断猜特征.,依据时节改变进行引荐,2014-03,2015-08,2017-10,2016-03,2018,大数据工作首先写入政府工作报告,十三五规划纲要提出实施国家大数据战略,2018年政府工作报告提出：实施大数据发展行动，注重用互联网、大数据等提升监管效能,国务院发布促进大数据发展的行动纲要,十九大提出推动大数据战略，与实体经济深度融合,行业现状与前景,2019年人社部拟最新发布15项新职业,1.大数据工程技术人员2.云计算工程技术人员3.人工智能工程技术人员4.物联网工程技术人员5.,什么是大数据,大数据（BigData）是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据集,大数据的主要特征,大数据主要特征,Volume,Velocity,Variety,Veracity,真实性（Veracity），即追求高质量的数据。,容量大（Volume）,指大规模的数据量，并且数据量呈持续增长趋势。,速度快（Velocity）,指的是数据被创建和移动的速度。,种类多（Variety）,指数据来自多种数据源，数据种类和格式。,Value,价值密度低（Value），指随着数据量的增长，数据中有意义的信息却没有成相应比例增长。,3,大数据处理流程,大数据处理流程,数据预处理就是将采集来的数据从多种数据库导入到大型的分布式数据库中（目前主要是hfds或hive）,并同时做一些简单的清洗和预处理工作。,数据统计分析就是对上面已经完成的存储在大型分布式数据库中的数据进行归类统计，可以满足一般场景的分析需求。,数据挖掘是对数据进行基于各种算法的分析计算，从而起到预测的效果，实现一些高级别数据分析的需求。,数据采集就是利用多种数据库（关系型，NOSQL）去存储不同来源的数据。,数据展示就是对以上处理完的结果进行分析，或者形成报表。,大数据采集的概念,大数据采集的概念,3、大数据采集技术方法大数据采集技术就是对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。ETL指的是Extract-Transform-Load，也就是抽取、转换、加载。抽取-从各种数据源获取数据转换-按需求格式将源数据转换为目标数据加载-把目标数据加载到数据仓库中,2、数据采集与大数据采集的区别传统数据采集：来源单一，数据量相当小；结构单一；关系数据库和并行数据库大数据的数据采集：来源广泛，数量巨大；数据类型丰富；分布式数据库,1、什么是数据采集数据采集就是数据获取，数据源主要分为线上数据和内容数据,大数据采集系统,1.日志采集系统（ApacheFlume、Scribe）,3.数据库采集系统（关系型、nosql等各种数据库）,2.网络数据采集系统（Scrapy框架、ApacheNutch）,5,大数据采集应用,技能准备,Python基础,Linux操作系统基本操作,数据库基础（SQL语句操作）,环境准备,Python,Jdk(java环境),数据库（mysql）,Thanks,YOURTITLE,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,YOURTITLE,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,OKPPT工作室,YOURTITLE,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,YOURTITLE,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,YOURTITLE,21%,9%,28%,42%,3,OKPPT工作室,YOURTITLE,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,YOURTITLE,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.,Nothingisdifficulttothemanwhowilltry.,YOURTITLE,Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.,Nothing