《数据分析》课件-项目1 数据分析基础认知

任务1.1数据分析的背景Python数据分析学习目标及重难点学习目标：了解数据分析的背景学习重点：数据分析目录学习内容1.什么是数据分析2.数据分析的背景01什么是数据分析1.什么是数据分析数据也称为观测值，是实验、测量、观察、调查等的结果。数据分析中所处理的数据分为定性数据和定量数据。只能归入某一类而不能用数值进行测度的数据称为定性数据。定性数据中表现为类别，但不区分顺序的，是定类数据，如性别、品牌等；定性数据中表现为类别，但区分顺序的，是定序数据，如学历、商品的质量等级等。1.什么是数据分析数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如设计人员在开始一个新的设计以前，要通过广泛的设计调查，分析所得数据以判定设计方向，因此数据分析在工业设计中具有极其重要的地位。1.什么是数据分析在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的证实或证伪。探索性数据分析

探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一种方法，是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(JohnTukey)命名。1.什么是数据分析离线数据分析离线数据分析用于较复杂和耗时的数据分析和处理，一般通常构建在云计算平台之上，如开源的HDFS文件系统和MapReduce运算框架。Hadoop机群包含数百台乃至数千台服务器，存储了数PB乃至数十PB的数据，每天运行着成千上万的离线数据分析作业，每个作业处理几百MB到几百TB甚至更多的数据，运行时间为几分钟、几小时、几天甚至更长。1.什么是数据分析在线数据分析在线数据分析也称为联机分析处理，用来处理用户的在线请求，它对响应时间的要求比较高（通常不超过若干秒）。与离线数据分析相比，在线数据分析能够实时处理用户的请求，允许用户随时更改分析的约束和限制条件。与离线数据分析相比，在线数据分析能够处理的数据量要小得多，但随着技术的发展，当前的在线分析系统已经能够实时地处理数千万条甚至数亿条记录。如果没有大数据的在线分析和处理，则无法存储和索引数量庞大的互联网网页，就不会有当今的高效搜索引擎，也不会有构建在大数据处理基础上的微博、博客、社交网络等的蓬勃发展。02数据分析的背景2.数据分析的背景工业时代，互联网还未兴起。这时没有数据分析，全行业面临是财务主导下计划生产销售，数据也是粗颗粒都的汇总值企业运营管理则是靠专家经验，这个时期数据的分析主要体现在财务报表的分析。公司业务简单，数据分析的工作频率低、复杂度低，也不用处理加工太多数据。所使用的工具主要是excel。2.数据分析的背景信息时代，互联网互联互通。市场经济蓬勃发展，企业的竞争加剧，业务相对复杂，而且面临利润率下降，市场变化很快，分析决策的内容堆积，不仅是在CEO为代表的管理层，到主管运营层面也需要一定的数据分析能力，大量的数据需要记录加工、工作汇报，数据分析岗位的应运而生，这时候数据分析工作相对简单，更多的是数据加工。主要使用的工具是office、sql、python。任务1.2什么是数据分析Python数据分析学习目标及重难点学习目标：了解什么是数据分析学习重点：数据分析目录学习内容1.数据分析的方法2.数据分析的过程01数据分析的方法1.数据分析的方法1、列表法将数据按一定规律用列表方式表达出来，是记录和处理最常用的方法。表格的设计要求对应关系清楚，简单明了，有利于发现相关量之间的相关关系；此外还要求在标题栏中注明各个量的名称、符号、数量级和单位等：根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。1.数据分析的方法2、作图法作图法可以最醒目地表达各个物理量间的变化关系。从图线上可以简便求出实验需要的某些结果，还可以把某些复杂的函数关系，通过一定的变换用图形表示出来。1.数据分析的方法图表和图形的生成方式主要有两种：手动制表和用程序自动生成，其中用程序制表是通过相应的软件，例如SPSS、Excel、MATLAB等。将调查的数据输入程序中，通过对这些软件进行操作，得出最后结果，结果可以用图表或者图形的方式表现出来。图形和图表可以直接反映出调研结果，这样大大节省了设计师的时间，帮助设计者们更好地分析和预测市场所需要的产品，为进一步的设计做铺垫。同时这些分析形式也运用在产品销售统计中，这样可以直观地给出最近的产品销售情况，并可以及时地分析和预测未来的市场销售情况等。所以数据分析法在工业设计中运用非常广泛，而且是极为重要的。1.数据分析的方法数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能,并使数据分析得以推广。数据分析，是指使用适当的统计分析方法（如聚类分析、相关分析等）对收集来的大量数据进行分析，从中提取有用信息和形成结论，并加以详细研究和概括总结的过程。数据分析的目的在于,将隐藏在一大批看似杂乱无章的数据信息中的有用数据集提炼出来，以找出所研究对象的内在规律。在统计学领域中，数据分析可以划分为如下三类:1.数据分析的方法(1）描述性数据分析:从一组数据中可以摘要并且描述这份数据的集中和离散情形。(2)探索性数据分析:从海量数据中找出规律，并产生分析模型和研究假设。(3)验证性数据分析:验证科研假设测试所需的条件是否达到，以保证验证性分析的可靠性。其中，描述性数据分析隶属于初级数据分析，常见的分析方法有对比分析法、平均分析法、交叉分析法，而探索性和验证性数据分析属于高级数据分析，常见的分析方法有相关分析、因子分析、回归分析等。1.数据分析的工具使用Excel自带的数据分析功能可以完成很多专业软件才有的数据统计、分析，其中包括：直方图、相关系数、协方差、各种概率分布、抽样与动态模拟、总体均值判断，均值推断、线性、非线性回归、多元回归分析、移动平均等内容。在商业智能领域Cognos、StyleIntelligence、Microstrategy、Brio、BO和Oracle以及国内产品如YonghongZ-SuiteBI套件等。02数据分析的过程2.数据分析的过程数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。识别需求识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责管理者应根据决策和过程控制的需求，提出对信息的需求。就过程控制而言，管理者应识别需求要利用那些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。2.数据分析的过程收集数据有目的的收集数据，是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。策划时应考虑：①将识别的需求转化为具体的要求，如评价供方时，需要收集的数据可能包括其过程能力、测量系统不确定度等相关数据；②明确由谁在何时何处，通过何种渠道和方法收集数据；③记录表应便于使用；④采取有效措施，防止数据丢失和虚假数据对系统的干扰。2.数据分析的过程分析数据分析数据是将收集的数据通过加工、整理和分析、使其转化为信息，通常用方法有：老七种工具，即排列图、因果图、分层法、调查表、散布图、直方图、控制图；新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图。2.数据分析的过程过程改进数据分析是质量管理体系的基础。组织的管理者应在适当时，通过对以下问题的分析，评估其有效性：①提供决策的信息是否充分、可信，是否存在因信息不足、失准、滞后而导致决策失误的问题；②信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致，是否在产品实现过程中有效运用数据分析；③收集数据的目的是否明确，收集的数据是否真实和充分，信息渠道是否畅通；④数据分析方法是否合理，是否将风险控制在可接受的范围；⑤数据分析所需资源是否得到保障。任务1.3数据分析的应用场景Python数据分析学习目标及重难点学习目标：数据分析的应用场景学习重点：数据分析目录学习内容1.数据分析的步骤2.数据分析的应用场景01数据分析的步骤1.数据分析的步骤数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步骤：1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。3、推断分析：通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。02数据分析的应用背景2.数据分析的应用背景随着大数据的应用越来越广泛，应用的行业也越来越多，我们每天都可以看到一些关于数据分析的新鲜应用，从而帮助人们获取有价值的信息。例如，网购时经常发现电商平台向我们推荐商品，往往这类商品都是我们最近浏览的，之所以电商平台能够如此了解用户的需求，主要是根据用户上网行为轨迹的相关数据进行分析，以达到精准营销的目的。接下来，我们一起来看看数据分析在一些领域中的应用。2.数据分析的应用背景1．营销方面的应用据杜克大学的一项研究显示，是习惯而非有意识的决策促成了我们每天45%的选择，这意味着只要了解了习惯的形式，就可以更简单地控制它们。通过分析消费者的购物行为，便能够精准地预测下一步的消费，塔吉特公司便是一个最成功的例子。塔吉特公司给每名顾客分配了一个顾客码…---利用它密切关注顾客所购买的物品，并且通过会员卡和购买方式获得个人信息。通过对消费者的购买信息进一步研究其购买习惯，发现各类有价值的目标群体，确认顾客人生中的特殊时刻，因为这时他们的购物习惯会变得特别灵活，适时地广告或优惠券将使他们开始全新的购物方式。2.数据分析的应用背景2．医疗方面的应用数据分析应用的计算能力可以让我们能够在几分钟内就可以解码整个DNA，并且让我们可以制定出最新的治疗方案，同时可以更好地去预测疾病，就好比人们戴上智能手表就可以产生数据一样。数据分析同样可以帮助病人及早预防和预测疾病的发生，做到早治疗、早康复。大数据技术目前已经在医院应用监视早产婴儿和患病婴儿的情况，通过记录和分析婴儿的心跳，医生针对婴儿的身体可能会出现的不适症状做出预测，这样可以帮助医生更好地救助患儿。2.数据分析的应用背景3．零售方面的应用在美国零售业曾经有这样一个传奇故事，某家商店将纸尿裤和啤酒并排放在一起销售，结果纸尿裤和啤酒的销量双双增长!为什么看起来风马牛不相及的两种商品搭配在一起，能取到如此惊人的效果呢?后来经过分析发现，这些购买者多数是已婚男士，这些男士在为小孩购买纸尿裤的同时，会给自己购买一些啤酒。发现这个秘密后，沃尔玛超市就大胆地将啤酒摆放在纸尿裤旁边，这样顾客购买起来更方便，销量自然也会大幅上升。之所以讲“啤酒–纸尿裤”这个例子，其实是想告诉大家，挖掘数据潜在的价值，是零售业竞争的核心竞争力。2.数据分析的应用背景4．网络安全方面的应用传统的网络安全主要依靠静态防御及处理病毒的流程发现威胁、分析威胁和处理威胁。这种情况下，往往在威胁发生以后才能做出反应。新型的病毒防御系统可以使用数据分析技术，建立潜在攻击识别分析模型，监测大量网络活动数据和相应的访问行为，识别可能进行入侵的可疑模式，做到未雨绸缪。2.数据分析的应用背景5．交通物流方面的应用物流是指物品从供应地流向接受地的活动，包括运输、搬运、储存、保管、包装、装卸、流通加工和物流信息处理等基本功能，以满足社会的需求。用户可以通过业务系统和GPS定位系统获得数据，使用数据构建交流状况预测分析模型，有效预测实时路况、物流状况、车流量、客流量和货物吞吐量，进而提前补货，制定库存管理策略。2.数据分析的应用背景6、政府和公共服务领域在政府和公共服务领域中，数据分析可以应用于以下方面:(1)市场调研和预测:通过分析市场趋势和公众需求，政府可以制定更有效的政策和服务，提高公众满意度和福利。(2)预算管理和资源分配:通过分析预算和资源使用情况，政府可以优化资源分配和预算管理，提高效率和降低成本。(3)公共安全和应急响应:通过分析安全事件和应急情况的模式和趋势，政府可以提前预测和控制风险，保障公众安全和稳定。任务1.4数据分析的流程Python数据分析学习目标及重难点学习目标：数据分析的流程学习重点：数据分析目录学习内容1.数据分析的流程2.数据分析报告的书写01数据分析的流程1.数据分析的流程数据分析是对收集来的大量数据使用适当的分析方法进行分析，运用高效的分析工具将它们加以分类和汇总，并提取其中最有价值的信息，概括总结形成有效结论，挖掘数据最大价值的过程。这里将数据分析分成7个闭环步骤，与你一起进行交流：①明确需求→②确定思路→③处理数据→④分析数据→⑤展示数据→⑥撰写报告→⑦效果反馈1.数据分析的流程01明确需求明确需求是数据分析的第一个步骤，主要是与他人沟通交流与需求相关的一切内容，并将相关内容清晰及准确的理解、表达。一般刚入门的分析是以被动分析为主，也就是他人发现问题，你来进行数据分析，所以要清晰的勾绘需求内容，让输出结果与需求的契合度更高。需求内容在沟通需求内容时，会存在反复沟通的情况，主要是因为还没有进行数据分析，问题考虑不周全；还有就是遇见XX人。而在沟通中，可通过抓住需求的核心内容，减少反复沟通，需求的核心内容可从5个方面确定：分析目的、分析主体、分析口径、分析思路、完成时间。1.数据分析的流程在沟通需求的时候，要适当提出自己的想法，让需求更清晰立体。需求内容确定后，尽量以文档的形式记录下来，并邮件发给参与分析的全部人，便于各方参考需求内容开展工作。注意事项为提高需求的确认效率，要在沟通中注意9个字--“听得懂，问得准，记得牢”。也就是听懂需求方说的，遇见不懂名词，一定要补课弄懂；并且对于有疑问的地方及时提出；最后记录清楚沟通内容的重点。1.数据分析的流程02确定思路分析思路可谓是分析的“灵魂”所在，它是将分析工作进行细化，分析思路清晰、有逻辑，可避免一个问题反复分析的情况。确定思路需要从分析目的出发全面、深入拆解分析维度，确定分析方法，最终形成完整的分析框架。1.数据分析的流程①套用经典：前人经过岁月的沉淀，已总结出成熟的分析“套路”，套用经典分析思路，站在前人的肩膀上进行分析，常用“套路”如：AARRR分析、RFM分析、5W2H分析等。②指标体系：利用公司内部已形成的指标体系，通过指标、维度找到分析适当的切入角度。③总结提炼：通过学习公司历史分析报告，请教同事，不断运用总结，提炼出自己的分析框架。1.数据分析的流程梳理工具当头脑中已有分析思路，是否有工具让分析思路清晰表达出来呢？这时就可以使用【思维导图】一边表达一边梳理，常用的思维导图软件有Xmind、Mindmaster，网页的话可用使用百度脑图。03处理数据当拿到数据时，数据不能满足直接用来分析，所以需要将收集到的杂乱无章的数据，快速、准确加工成适合数据分析的样式，常用的样式是一维表，也就是每个数据只有一个对应数值，每一列都是独立参数。1.数据分析的流程数据传输过来，就可以对数据进行加工处理，数据加工主要是4种操作：①数据收集：也就是从数据来源中收集、提取出分析的相关数据；②数据清洗：观察数据是否存在异常值、空值等，若存在，可剔除或用合理值代替，常用的代替值是平均值、中位数、众数；③数据计算：通过数学公式等用已有数据计算出自己需要的其他数值，如：日均值、总销售额；④数据转化：将数据转化成分类数据也就是离散型数据，俗称“标签化”。1.数据分析的流程04分析数据分析数据是分析流程重中之重的工作，可谓是“抽丝剥茧”，它是从分析目的出发，按照分析思路，运用适当的分析方法或分析模型，使用分析工具，对处理过的数据进行分析，提取出有价值的信息。05展示数据展示数据也称为“数据可视化”是以简单、直观的方式传达出数据包含的信息，增强数据的‘易读性’，让阅读者轻而易举的就看出数据表达的内容。1.数据分析的流程06撰写报告撰写报告是指以文档形式输出分析结果，其内容是通过数据全方位的科学分析来展现运营情况，能够为决策者提供强有力的决策依据，从而降低运营风险，提高盈利。分析报告就是第1步~第5步工作的总结，以文档的形式展现“推理”的过程，并说明最终的结论。02数据分析的报告2.数据分析的报告报告形式目前常用的报告形式有，PPT、Word、Excel：①PPT：制作耗时较长，但其美观度强，大型汇报一般都是以PPT载体；②Word：分析报告主要是用于文字较多、正式的邮件附件；③Excel：常用于内部的交流报告，制作时间较短。2.数据分析的报告注意事项在撰写报告的时候，为了让报告易读且有价值，也需要注意一些事情：①报告中注明分析目标、分析口径、数据来源，这样报告阅读人能清晰的知道报告的背景情况，降低因此带来的沟通成本；②报告图文并茂、条理清晰、逻辑性强、单条推理，让阅读人能够跟着你的一条分析思路走到分析结果；③报告中需体现有价值的结论、建议，用“落地”的方案，体现分析的数据价值。2.数据分析的报告分析报告也是PPT的一种，所以也在“干不过PPT”的系列中，干不过的主要原因是分析报告是工作的精华浓缩，能够更直接的向上级汇报。一定要坚持写下去，可能刚开始报告写得毫无章法，但会越写越清晰，报告功底与报告数量成正比。任务1.5Python做数据分析的优势Python数据分析学习目标及重难点学习目标：数据分析的优势学习重点：数据分析目录学习内容1.什么是Python2.Python做数据分析的优势01什么是Python1.什么是PythonPython由荷兰国家数学与计算机科学研究中心的吉多·范罗苏姆于1990年代初设计，作为一门叫做ABC语言的替代品。Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言，随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。1.什么是PythonPython在各个编程语言中比较适合新手学习，Python解释器易于扩展，可以使用C、C++或其他可以通过C调用的语言扩展新的功能和数据类型。Python也可用于可定制化软件中的扩展程序语言。Python丰富的标准库，提供了适用于各个主要系统平台的源码或机器码。1.什么是Python优点:简单：Python是一种代表简单主义思想的语言。阅读一个良好的Python程序就感觉像是在读英语一样。它使你能够专注于解决问题而不是去搞明白语言本身。易学：Python极其容易上手，因为Python有极其简单的说明文档[8]。易读、易维护：风格清晰划一、强制缩进用途广泛速度较快：Python的底层是用C语言写的，很多标准库和第三方库也都是用C写的，运行速度非常快。免费、开源1.什么是Python高层语言：用Python语言编写程序的时候无需考虑诸如如何管理你的程序使用的内存一类的底层细节。可移植性：由于它的开源本质，Python已经被移植在许多平台上（经过改动使它能够工作在不同平台上）。解释性：一个用编译性语言比如C或C++写的程序可以从源文件（即C或C++语言）转换到一个你的计算机使用的语言（二进制代码，即0和1）。这个过程通过编译器和不同的标记、选项完成。1.什么是Python面向对象：Python既支持面向过程的编程也支持面向对象的编程。在“面向过程”的语言中，程序是由过程或仅仅是可重用代码的函数构建起来的。在“面向对象”的语言中，程序是由数据和功能组合而成的对象构建起来的。Python是完全面向对象的语言。函数、模块、数字、字符串都是对象。并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。Python支持重载运算符和动态类型。相对于Lisp这种传统的函数式编程语言，Python对函数式设计只提供了有限的支持。有两个标准库（functools，itertools）提供了Haskell和StandardML中久经考验的函数式程序设计工具。1.什么是Python可扩展性、可扩充性：如果需要一段关键代码运行得更快或者希望某些算法不公开，可以部分程序用C或C++编写，然后在Python程序中使用它们。可嵌入性：可以把Python嵌入C/C++程序，从而向程序用户提供脚本功能。丰富的库：Python标准库确实很庞大。它可以帮助处理各种工作，包括正则表达式、文档生成、单元测试、线程、数据库、网页浏览器、CGI、FTP、电子邮