数据分析课件50视频学习网

1、开课吧录数据分析实践0快速门1数据分析概念1.1数据分析价值和前景1.2与处理Excel2认识Excel数据2.1Excel导数据2.2Excel常操作2.3Excel函数2.4Excel数据表2.5Excel图表2.6SQL3数据库概述3.1图形界操作3.2常数据类型3.3数据库常见操作3.4数据表常见操作3.5数据的curd3.6数据库的备份和恢复3.7数据表3.8排序3.8.1聚合函数3.8.2分组3.8.3分页3.8.4连接3.8.5关联.7总结3.8.8数据库设计3.9案例3.10可视化具41开课吧Power BI概述4.1Power BI之Power Query4.

2、2Power BI之Power Pivot4.3Power BI之可视化4.4Tableau概述4.5Tableau案例4.62开课吧数据分析实践3开课吧本章节职业标: 业务数据分析师 数据挖掘分析师 数据分析师本章节知识点: Excel, SQL, Tableau, Power BI本章节重点: SQL和Power BI快速门4 chapter06 1-快速 2-Excel 3-SQL 4-数据可视化具 5-务数据分析案例 README.md# 课件说明档 SUMMARY.md# 课程录信息 _book# HTML课件 assets# 图 book.json# 课件配置信息 node_mod

3、ules# 第三模块 src# 源代码或者软件安装包开课吧TOC、课前准备1. windows 10, mac: VmWare安装windows102. 安装Excel软件3. 安装MySQL数据库4. MySQL持Excel插件 mysqlconnect/net安装、课堂标了解数据分析的价值和前景掌握数据分析学习法三、知识要点1. 数据分析概念数据分析是指适当的统计分析法对收集来的量数据进分析，提取有信息和形成结论对数据加以详细研究和概括总结的过程, 最后再通过得到的结论应到业中解决实际问题。数据分析是将数据转换为知识, 智慧的段2. 应场景1. 如某款量很, 但是率很低, 有没有可能是是服

4、务器有问题还是流程过于负载, 或者近期络出故障导致。数据分析概念5开课吧数据分析主要帮助决策者了解情况、发现规律以及将来。假如我是家做的还不错的2.卖服装的淘宝店长，我需要知道天内我卖了多少件商品、挣了、哪个品牌卖的多哪个品牌卖的少、哪种商品需要补货、哪种颜受欢迎等等信息.以便及时做出策略调整， 保持市场竞争优势。这就是了解情况。在经营了L段时间之后，店积累了些历史数据，通过对数据的深挖掘，我发现特定群甲喜欢圆领深服装，另些特定群喜欢宽松浅服装，些在买了A品牌T-Shirt之后会B品牌短裤,另部分在浏览了C页后会对D品牌产服装推销给，将B品牌短裤。于是我将圆领深服装推销给甲.将宽松浅添加在A品

5、牌T-Shirt页的推荐商品中，将D品牌促销信息追加到C页中，中的商品的更好了，这就是发现规律。又经营-段时间后，我发现E品牌商品总是在被浏览2到3次之后就会被卖出去- -件.于是我发现与销售件数之间存在较强的关联关系，于是办法增加品牌商品的点击次数，通过浏览量的趋势致可以出未来段时间内销量的变化情况这就是将来。基础数据:量, 激活量, 新增户量, 活跃户, 次留存等社交: 户分布, 户留存(次, 3, 7, 次, 3): 淘宝指数, 站流量, 页深度, 页路径: 户活跃度,率内容类: 内容转换率(内容, 内容浏览), 留存量, PV, UV具类: 功能点击量, 应商城排名零售: 提销量, 其

6、他: 竞品数据(销售额, 激活)3. 分析法业务数据分析 (主要使SQL, Excel等)描述型分析数据可视化图表数据挖掘分析 (主要使Python, SPSS, SAS, R等)协同过滤 分类分析 关联分析 聚类分析等数据分析 (Hadoop, Spark)Hadoop数据平台数据整理建模, 分析与展数据分析概念6开课吧4. 数据分析流程数据分析概念7开课吧tree new bee5. 常数据分析具Excel, SPSS, SAS,Tableau, Power BI, 于业务数据分析Python, SQL, R 于数据统计分析数据分析概念8开课吧数据分析具词云图四、互动问答数据分析概念9开课

7、吧TOC、课堂标了解数据分析价值了解精准了解户画像、数据分析价值1. 挖掘商机2. 数据可视化将数据度浓缩, 通过的图表的形式展现出来, 增强数据的展现, 常见的图形有柱状图, 饼状图, 直图, 折线图, 散点图等数据分析价值和前景10开课吧3. 商业智能(BI)将企业中现有的数据进有效的整合, 快速准确的 提供报表服务并提出决策依据, 帮助企业做出明智的业务经营决策4. 户画像户画像最初是在领域得到应的，在数据背景下，户信息充斥在络中，将户的每个具体信息抽象成服务，利这些将户形象具体化，从为户提供有性的数据分析价值和前景11开课吧5. 量化量化投资理论是借助现代统计学和数学的法，利计算机技术

8、从庞的历史数据中海选能带来超额 格执已的多种“概率”以制定策略，数量模型验证及这些规律和策略，然后严的策略来指导投资，以求获得可持续的、稳定且于平均的超额回报三、数据分析前景1. 业发展前景数据分析价值和前景12开课吧2. 就业前景3. 数据分析职业发展数据分析价值和前景13开课吧4. 岗位数据分析价值和前景14开课吧些好的络经管之家统计之都知乎堆栈溢出三、互动问答数据分析价值和前景15开课吧Excel户级别新: 基本操作法和常功能初级户: 建表格, 图表化中级户: 理解并且熟练各种菜单命令、使数据表、掌握20余个函数、宏、名称、条件格式、有效验证、组及分级显、级筛选、定义排序级户: 引查找函

9、数、动态图表、动态数据: 超的技术并拥有丰富的业知识和经验表、分析具、VBA课程内容认识数据Excel数据的收集和Excel数据处理技巧和效法Excel公式、函数、数据分析Excel可视化数据分析(排序、筛选、Excel图表化数据呈现Excel交互式界设计Power BI表等)与处理Excel16开课吧TOC、课堂标了解Excel的作表, 掌握Excel的基本操作和字段、知识要点1. Excel的常见对象作簿: 作表的集合作表 (数据的集合)字段: 数据的列标题: 数据认识Excel数据17开课吧2. 数据类型数字类型字符类型认识Excel数据18开课吧注: 如果将纯数字格式将导致法计算, 此

10、时可以通过 某列 * 1来快速修改数据类型认识Excel数据19开课吧TOCExcel导数据、课堂标掌握通过站导数据 掌握通过本导数据 掌握通过数据库导数据、主要知识1. 通过站导数据数据源:cancer-wisconsin.data具体步骤如下:Excel导数据20开课吧2. 导本数据Excel导数据21开课吧选择对应的本件之后, 需要选择分隔符和新表所在位置就可以完成导数据3. 导MySQL数据库数据需要安装MySQL connect/net具3.1 提前准备好需要连接的数据库 demoExcel导数据22开课吧3.2 选择数据 新建3.3 选择从MySQL数据库中获取数据Excel导数据

11、23开课吧3.4 输连接的服务器和数据库名称3.5 不要使默认的windows服务, 选择数据库服务, 输户名和Excel导数据24开课吧3.6 数据加载Excel导数据25开课吧Excel导数据26开课吧TOC、课堂标掌握Excel的填充, 拆分, 转置排序和筛选等操作掌握Excel的、主要知识1. 填充Excel常操作27开课吧2. 拆分3. 排序和筛选Excel常操作28开课吧4.下拉表Excel常操作29开课吧, ，Excel常操作30开课吧TOC、课堂标掌握常见函数基本使掌握函数帮助档的查看法了解函数的错误信息、主要知识1. 了解函数2. 求平均值Excel函数31开课吧3. IF语

12、句4. VLOOKUP函数Excel函数32开课吧5. 函数错误修复Excel函数33开课吧Excel数据表34开课吧Excel图表1. 插图表2. 图表的坐标轴3. 图表的次坐标轴Excel图表35开课吧Excel图表36开课吧SQL1. Excel每个有有些Excel的基础吧。数据格式、函数、表这些或多或少都会了解。你已经有了基础平! 再接下来，推荐(Excel2010数据处理与分析,我当时就是把这本书从头到尾看了下来，有种excel神的感觉。2. 数据库基础sql是所有数据库的语，sql由于本结构化的特点，常容易。不同的数据库，如mysql、 sqlserver、 oracle等，sql

13、语是本章讲的就是所有要点。有所不同，但是总体上同异，只是细微处的差别。这就SQL37开课吧TOC、课前准备安装MySQL服务端安装MySQL图形界客户端navicate、学习标了解RDBMS系统和相关的数据库了解MySQL数据库的特点了解SQL常类型熟练编写数据库增删改查相关的SQL语句三、主要知识1. 数据传统的数据式缺点不易保存备份查找不便不适合量数据现代化段数据库持久化读写速度极保证数据的有效性数据库概述38开课吧对程序持性常好，容易扩展2. 数据库和Excel对数据()数据列(字段)数据表(数据的集合) 数据库(数据表的集合)数据库概述39开课吧3. RDBMS关系型数据库管理系统Re

14、lational Database Management System通过表来表关系型当前主要使两种类型的数据库：关系型数据库、关系型数据库，本部分主要讨论关系型数据库，对于关系型数据库会在后学习所谓的关系型数据库RDBMS，是建在关系模型基础上的数据库，借助于集合代数等数学概念和法来处理数据库中的数据查看数据库排名:关系型数据库的主要：oracle：在以前的型项中使,银,电信等项mysql：web使最泛的关系型数据库数据库概述40开课吧ms sql server：在微软的项中使：轻量级数据库，主要应在移动平台4. SQLStructured Query LanguageSQL是结构化语，是种

15、来操作RDBMS的数据库语，当前关系型数据库都持使SQL语进操作,也就是说可以通过 SQL 操作 oracle,sql server,mysql,等等所有的关系型的数据库SQL语句主要分为： DQL：数据语，于对数据进，如selectDML：数据操作语，对数据进增加、修改、删除，如insert、udpate、delete TPL：事务处理语，对事务进处理，包括begin transaction、commit、rollbackDCL：数据语，进与权限回收，如grant、revokeDDL：数据定义语，进数据库、表的，如create、dropCCL：指针语，通过指针完成表的操作，如declare

16、cursor数据库概述41开课吧对于web程序员来讲，重点是数据的crud（增删改查），必须熟练编写DQL、DML，能够编写DDL完成数据库、表的操作，其它语如TPL、DCL、CCL了解即可SQL 是门特殊的语,专门来操作关系数据库=不区分写=5. 学习要求熟练掌握数据增删改查相关的 SQL 语句编写在 Python代码中操作数据就是通过 SQL 语句来操作数据6. 互动问答数据库概述42# 创建Connection连接conn = connect(host=localhost, port=3306, user=root, password=mysql, database=demo, cha

17、# 得Cursor对象cs = conn.cursor() # 更新# sql = update students set name= where id=6 # 删除# sql = delete from students where id=6# 执select语句，并返回受影响的数：条学数据sql = select id,name from students where id = 7 # sql = SELECT id,name FROM students WHERE id = 7 count=cs.execute(sql)# 打印受影响的数print(count)开课吧TOC数据库连接具数

18、据库服务端: 在本机启动RDBMS系统数据库客户端: 使终端(cmd, 神专)或者图形界具(专)连接RDBMS. 启动RDBMS服务1. windows下启动2.mac下启动图形界操作43开课吧. 连接RDBMS图形界操作44开课吧1.Navicat连接图形界操作45开课吧图形界操作46开课吧2.cmd终端连接连接命令: mysql -uroot -pmysql-u, -p表参数, 其中-u指户名参数, -p指root: root户, mysql: root户设置的参数3. Navicat的基本操作3.1 数据库的基本操作图形界操作47开课吧3.2 数据表的基本操作图形界操作48开课吧3.3

19、数据的基本操作增删改操作图形界操作49开课吧图形界操作50开课吧TOC数据完整性个数据库就是个完整的业务单元，可以包含多张表，数据被在表中在表中为了更加准确的数据，保证数据的正确有效，可以在创建表的时候，为表添加些强制性的验证，包括数据字段的类型、约束1. 数据类型可以通过查看帮助档查阅所有持的数据类型使数据类型的原则是：=够就，尽量使取值范围的，不的，这样可以的节省空间=常数据类型如下： 整数：int，bit数：decimal字符串：varchar,char期时间: date, time, datetime枚举类型(enum) 特别说明的类型如下：decimal表浮点数，如decimal(5

20、,2)表共存5位数，数占2位char表固定长度的字符串，如char(3)，如果填充ab时会补个空格为 ab varchar表可变长度的字符串，如varchar(3)，填充ab时就会 ab 字符串text表对于图、频、本，当字符于4000时推荐使等件，不在数据库中，是上传到某个服务器上，然后在表中这个件的保存路径更全的数据类型可以参考2. 约束主键primary key：物理上空not null：此字段不惟unique：此字段的值不的顺序填写空值重复默认default：当不填写此值时会使默认值，如果填写时以填写为准外键foreign key：对关系字段进约束，当为关系字段填写值时，会到关联的表中

21、此值是否存在，如果存在则填写，如果不存在则填写失败并抛出异常说明：虽然外键约束可以保证数据的有效性，但是在进数据的crud（增加、修改、删除、查询）时，都会降低数据库的性能，所以不推荐使，那么数据的有效性怎么保证呢？答：可以在逻辑层进数值类型(常)常数据类型51开课吧字符串期时间类型3. 互动问答常数据类型52类型字节例DATE42020-01-01TIME312:29:59DATETIME82020-01-01 12:29:59YEAR12017TIMESTAMP41970-01-01 00:00:01 UTC 2038-01-01 00:00:01 UTC类型字节例CHAR0-255类型:

22、char(3) 输 ab, 实际为ab , 输abcd 实际为 abcVARCHAR0-255类型:varchar(3) 输 ab,实际为ab, 输abcd,实际为abcTEXT0-65535本类型字节有符号范围(Signed)符号范围(Unsigned)TINYINT1-128 1270 255SMALLINT2-32768 327670 65535MEDIUMINT3-8388608 83886070 16777215INT/INTEGER4-2147483648 21474836470 BIGINT8-8 70 15开课吧TOC数据库基本操作1. 命令连接数据在作中主要使命令操作式，要求

23、熟练编写打开终端，运命令连接后如下图登录2.登录后，输如下命令查看效果修改输提符D 完整期数据库常见操作53prompt python prompt U-D查看版本：select version();显示当前时间：select now();quit 和 exitmysql -uroot -p回后输，当前设置的为mysql开课吧U 使户3. 数据库常操作查看所有数据库 : show database s ;使数据库查看当前使的数据库创建数据库删除数据库数据库常见操作54drop database 数据库名; 例：drop database python;create database 数据库名

24、charset=utf8;例：create database python charset=utf8;select database();use 数据库名;show databases; # 注意 s开课吧TOC数据表常见操作1. 基本操作查看当前数据库中所有表查看表结构2. 创建表auto_increment表动增长例：创建班级表例：创建学表数据表常见操作55create table students(id int unsigned primary key auto_increment not null, name varchar(20) default ,age tinyint unsig

25、ned default 0, height decimal(5,2),gender enum(男,妖,),cls_id int unsigned default 0)create table classes(id int unsigned auto_increment primary key not null, name varchar(10);CREATE TABLE table_name( column1 datatype contrai, column2 datatype, column3 datatype,.columnN datatype,PRIMARY KEY(one or mor

26、e columns);desc 表名;show tables;开课吧3. 修改表添加字段修改表-修改字段：重命名版修改表-修改字段：不重命名版修改表-删除字段4. 删除表5. 查看表的创建语句数据表常见操作56show create table 表名; 例：show create table classes;drop table 表名; 例：drop table students;alter table 表名 drop 列名; 例：alter table students drop birthday;alter table 表名 modify 列名 类型及约束; 例：alter table s

27、tudents modify birth date not null;alter table 表名 change 原名 新名 类型及约束; 例：alter table students change birthday birth datetime not null;alter table 表名 add 列名 类型; 例：alter table students add birthday datetime;开课吧TOC增删改查(curd)curd的解释: 代表创建（Create）、更新（Update）、（Retrieve）和删除（Delete）基本使所有列1.指定列可以使as为列或表指定别名2.

28、 增加格式:INSERT INTO tb_name (col_name,.) VALUES | VALUE (expr | DEFAULT,.),(.),.说明：主键列是动增长，但是在插时需要占位，通常使0或者 default 或者 null 来占位，插后以实际数据为准插：值的顺序与表中字段的顺序对应部分列插：值的顺序与给出的列顺序对应上的语句次可以向表中插数据，还可以次性插多数据，这样可以减少与数据库的通信插：值的顺序与给出的列顺序对应数据的curd57insert into 表名(列1,.) values(值1,.)例：insert into students(name,hometown,

29、birthday) values(蓉,桃花岛,2016-3-2);insert into 表名 values(.)例：insert into students values(0,1,2016-1-2);select 列1,列2,. from 表名; 例：select id,name from classes;select * from 表名; 例：select * from classes;开课吧3. 修改格式: UPDATE tbname SET col1=expr1|DEFAULT ,col2=expr2|default.where 条件4. 删除格式: DELETE FROM tbnam

30、e where 条件逻辑删除，本质就是修改操作数据的curd58update students set isdelete=1 where id=1;delete from 表名 where 条件例：delete from students where id=5;update 表名 set 列1=值1,列2=值2. where 条件例：update students set gender=0,hometown=北京 where id=5;insert into 表名 values(.),(.).;例：insert into classes values(0,python1),(0,python2

31、); insert into 表名(列1,.) values(值1,.),(值1,.).; 例：insert into students(name) values( ),( ),();开课吧TOC数据库的备份和恢复1. 备份数据库2. 数据库的恢复数据库的备份和恢复59开课吧数据库的备份和恢复60开课吧TOC条件使where句对表中的数据筛选，结果为true的会出现在结果集中语法如下：where后持多种运算符，进条件的处理较运算符逻辑运算符模糊范围空1. 较运算符等于: =于: 于等于: =于: 于等于: =不等于: != 或 例1：编号于3的学例2：编号不于4的学例3：姓名不是“黄蓉”的学例

32、4：没被删除的学数据表61select * from students where name != 蓉;select * from students where id 3;select * from 表名 where 条件; 例：select * from students where id=1;开课吧2. 逻辑运算符and or not例5：编号于3的同学例6：编号于4或没被删除的学3. 模糊like%表任意多个任意字符_表个任意字符例7：姓黄的学例8：姓黄并且“名”是个字的学例9：姓黄或叫靖的学4. 范围in表在个连续的范围内例10：编号是1或3或8的学数据表62select * from

33、 students where id in(1,3,8);select * from students where name like % or name like %靖;select * from students where name like _;select * from students where name like %;select * from students where id 3 and gender=0;select * from students where is_delete=0;开课吧between . and .表在个连续的范围内例11：编号为38的学例12：编号

34、是38的男5. 空注意：null与是不同的判空is null例13：没有填写的学判空is not null例14：填写了的学例15：填写了的男6. 优先级优先级由到低的顺序为：括号，not，较运算符，逻辑运算符andor先运算，如果同时出现并希望先算or，需要结合()使数据表63select * from students where height is not null and gender=1;select * from students where height is not null;select * from students where height is null;select

35、* from students where (id between 3 and 8) and gender=1;select * from students where id between 3 and 8;开课吧TOC排序为了便查看数据，可以对数据进排序1. 语法：2. 说明将数据按照列1进排序，如果某些列1的值相同时，则按照列2排序，以此类推默认按照列值从到排列（asc）asc从到排列，即升序desc从到排序，即降序3. 例例1：未删除男信息，按学号降序例2：未删除学信息，按名称升序例3：显所有的学信息，先按照从-排序，当相同时 按照从-矮排序排序64select * from stude

36、nts order by age desc,height desc;select * from students where is_delete=0 order by name;select * from students where gender=1 and is_delete=0 order by id desc;select * from 表名 order by 列1 asc|desc ,列2 asc|desc,.开课吧TOC聚合函数为了快速得到统计数据，经常会到如下5个聚合函数1. 总数count(*)表计算总数，括号中写星与列名，结果是相同的例1：学总数2. 最值max(列)表求此列

37、的最值例2：的编号最值3. 最值min(列)表求此列的最值例3：未删除的学最编号4. 求和sum(列)表求此列的和例4：男的总5. 平均值聚合函数65select sum(age) from students where gender=1;- 平均select sum(age)/count(*) from students where gender=1;select min(id) from students where is_delete=0;select max(id) from students where gender=2;select count(*) from students;开

38、课吧avg(列)表求此列的平均值例5：未删除的编号平均值聚合函数66select avg(id) from students where is_delete=0 and gender=2;开课吧TOC分组1. group by1. group by的含义:将结果按照1个或多个字段进分组，字段值相同的为组2. group by可于单个字段分组，也可于多个字段分组根据gender字段来分组，gender字段的全部值有4个男,中性,，所以分为了4组 当group by单独使时，只显出每组的第条, 所以group by单独使时的实际意义不2. group by + group_concat()1. g

39、roup_concat(字段名)可以作为个输出字段来使，2. 表分组之后，根据分组结果，使group_concat()来放置每组的某字段的值的集合分组67select gender from students group by gender;select * from students;+| id | name| age | height | gender | cls_id | is_delete |+| 1 | 明|18 | 180.00 | |1 | 2 | |18 | 180.00 | |2 | 3 |29 | 185.00 | 男|1 | 4 |59 | 175.00 | 男|2 |

40、5 | 蓉|38 | 160.00 | |1 | 6 | 凤姐|28 | 150.00 |2 | 7 |18 | 172.00 | |1 | 8 |36 |NULL | 男|1 | 9 |27 | 181.00 | 男|2 | 10 |25 | 166.00 | |2 | 11 | 星|33 | 162.00 | 中性|3 | 12 | 静|12 | 180.00 | |4 | 13 |34 | 176.00 | |5 | 14 |12 | 170.00 | 男|4 |+select gender from students group by gender;+| gender |+| 男| |

41、 中性|+开课吧3. group by + 集合函数1. 通过group_concat()的启发，我们既然可以统计出每个分组的某字段的值的集合，那么我们也可以通过集合函数来对这个做些操作分组68select gender,group_concat(age) from students group by gender;+| gender | group_concat(age)|+| 男| 29,59,36,27,12| | 18,18,38,18,25,12,34 | 中性| 33| 28|+- 分别统计为男/的平均值select gender,avg(age) from students gr

42、oup by gender;+| gender | avg(age) |+| 男| 32.6000 | | 23.2857 |值的集合+| gender |+| 男| | 中性|+select gender,group_concat(name) from students group by gender;+| gender | group_concat(name)|+| 男|,| | 明,蓉,静,| 中性| 星| 凤姐|+select gender,group_concat(id) from students group by gender;+| gender | group_concat(i

43、d) |+| 男| 3,4,8,9,14| | 1,2,5,7,10,12,13 | 中性| 11| 6|+开课吧4. group by + having1. having 条件表：来分组后指定些条件来输出结果2. having作和where样，但having只能于group by分组69select gender,count(*) from students group by gender having count(*)2;+| gender | count(*) |+| 男|5 | |7 |+| 中性| 33.0000 | 28.0000 |+- 分别统计为男/的的个数select gen

44、der,count(*) from students group by gender;+| gender | count(*) |+| 男|5 | |7 | 中性|1 |1 |+开课吧TOC获取部分当数据量过时，在页中查看数据是件常烦的事情1. 语法例1：前3男信息2. 例已知：每页显m条数据，当前显第n页求总页数：此段逻辑后会在python中实现总条数p1使p1除以m得到p2 如果整除则p2为总数页如果不整除则p2+1为总页数求第n页的数据分页70select * from students where is_delete=0 limit (n-1)*m,mselect * from stu

45、dents where gender=1 limit 0,3;select * from 表名 limit start,count开课吧TOC连接当结果的列来源于多张表时，需要将多张表连接成个的数据集，再选择合适的列返回mysql持三种类型的连接，分别为：1. 内连接的结果为两个表匹配到的数据2. 右连接的结果为两个表匹配到的数据，右表特有的数据，对于中不存在的数据使null填充3. 左连接的结果为两个表匹配到的数据，特有的数据，对于右表中不存在的数据使null填充4. 语法例1：使内连接班级表与学表连接71select * from 表1 inner或left或right join 表2 on 表1.列 = 表2.列开课吧例2：使左连接班级表与学表此处使了as为表起别名，的是编写简单例3：使右连接班级表与学表例4：学姓名及班级名称连接72select , from student