Python数据分析指南（全）

Python数据分析指南（全）前⾔数据分析是通过明确分析⽬的，梳理并确定分析逻辑，针对性的收集、整理数据，并采⽤统计、挖掘技术分析，提取有⽤信息和展⽰结论的过程，是数据科学领域的核⼼技能。本⽂从数据分析常⽤逻辑框架及技术⽅法出发，结合python项⽬实战全⾯解读数据分析，可以系统掌握数据分析的框架套路，快速上⼿数据分析。⼀、数据分析的逻辑（⽅法论）1.1PEST分析法PEST分析是指宏观环境的分析，宏观环境是指影响⼀切⾏业或企业的各种宏观⼒量。P是政治(Politics)，E是经济(Economy)，S是社会(Society)，T是技术(Technology)。通常是战略咨询顾问⽤来帮助企业检阅其外部宏观环境的⼀种⽅法，以吉利收购沃尔沃为例：1.25W2H分析法5W2H分析法⼜称七何分析法，包括：Why、What、Where、When、Who、How、Howmuch。主要⽤于⽤户⾏为分析、业务问题专题分析、营销活动等，是⼀个⽅便⼜实⽤的⼯具。1.3逻辑树分析法逻辑树是分析问题最常⽤的⼯具之⼀，它是将问题的所有⼦问题分层罗列，从最⾼层开始，并逐步向下扩展。使⽤逻辑树分析的主要优点是保证解决问题的过程的完整性，且⽅便将⼯作细分为便于操作的任务，确定各部分的优先顺序，明确地把责任落实到个⼈。1.44P营销理论4P即产品（Product）、价格（Price）、渠道（Place）、促销（Promotion），在营销领域，这种以市场为导向的营销组合理论，被企业应⽤最普遍。通过将四者的结合、协调发展，从⽽提⾼企业的市场份额，达到最终获利的⽬的。4P营销理论适⽤于分析企业的经营状况，可视为企业内部环境，PEST分析的是企业在外部⾯对的环境。1.5SCQA分析法SCQA分析是⼀个“结构化表达”⼯具，即S（Situation）情景、C（Complication）冲突、Q（Question）疑问、A（Answer）回答。整个结构是通过描述当事者的现实状态，然后带出冲突和核⼼问题，通过结构化分析以提供更为明智的解决⽅案。以校园招聘SCQA分析为例：1.6SMART分析法SMART法是⼀种⽬标管理⽅法，即对⽬标的S（Specific）明确性，M（Measurable）可衡量性，A（Attainable）可实现性，R（Relevant）相关性，T（Time-based）时限性。1.7SWOT分析法SWOT分析法也叫态势分析法，S（Strengths）是优势、W（Weaknesses）是劣势，O（Opportunities）是机会、T（Threats）是威胁或风险。常⽤来确定企业⾃⾝的内部优势、劣势和外部的机会和威胁等，从⽽将公司的战略与公司内部与外部环境有机地结合起来。以HUAWEI的SWOT分析为例：⼆、数据分析的技术⽅法数据分析的技术⽅法是指提取出关键信息的具体⽅法，如对⽐分析、交叉分析、回归预测分析等⽅法。2.1对⽐分析法对⽐分析法是将两个或两个以上的数据进⾏⽐较，分析差异，揭⽰发展变化情和规律。静态⽐较：时间⼀致的前提下选取不同指标，如部门、城市、门店等，也叫横向⽐较。动态⽐较：指标⼀致的前提下，针对不同时期的数据⽐较，也叫纵向⽐较。举例：各车企销售表现2.2分组分析法先经过数据加⼯，对数据进⾏数据分组，然后对分组的数据进⾏分析。分组的⽬的是为了便于对⽐，把总体中具有不同性质的对象区分开，把性质相同的对象合并在⼀起，保持各组内对象属性的⼀致性、组与组之间属性的差异性，以便进⼀步运⽤各种数据分析⽅法来解释内在的数量关系。举例：新书在各销售渠道的销量2.3结构分析法结构分析法⼜称⽐重分析法，是在分组分析法的基础上，计算总体内各组成部分占总体的⽐重，进⽽分析总体数据的内部特征。举例：市场占有率是典型的结构分析。2.4平均分析法（标准参数分析法）运⽤计算平均数的⽅法来反映总体在⼀定的时间、地点条件下某⼀数量特征的⼀般⽔平。平均指标可⽤于同⼀现象在不同地区、不同部门或单位间的对⽐，还可⽤于同⼀现象在不同时间的对⽐。举例：季节性分析和价格分析时常会⽤到index指标2.5交叉分析法通常⽤于分析两个变量之间的关系，即同时将两个有⼀定联系的变量及其值交叉排列在⼀张表格内，使各变量值成为不同变量的交叉节点，形成交叉表。举例：常见的⽓泡图数据表格2.6漏⽃图分析法漏⽃图可以很好的反映⽹站各步奏转化率，利⽤对⽐法对同⼀环节优化前后的效果进⾏对⽐分析来反映某个步奏转化率的好坏。举例：商品流转率表现图三、数据分析的图表展⽰图表展⽰可以帮助我们更好、更直观地看懂数据信息。图表的选择，不只是关注图表的样式，⽽关键在于关注数据情况及图表展⽰的功能。可以通过数据展⽰的功能（构成、⽐较、趋势、分布及联系）进⾏图表选择，如下所⽰：四、项⽬实战（python）4.1数据内容数据来源于，主要是⾏为类数据。a.订单编号：订单编号b.总⾦额：订单总⾦额c.买家实际⽀付⾦额：总⾦额-退款⾦额（在已付款的情况下）；未付款的⽀付⾦额为0d.收货地址：全国各个省份e.订单创建时间：下单时间f.订单付款时间：付款时间（如果未付款，显⽰NaN）g.退款⾦额：付款后申请退款的⾦额。未付款的退款⾦额为04.2天猫订单分析过程4.2.1背景及分析⽬的以天猫⼀个⽉内的订单数据，观察这个⽉的订单量以及销售额,分析下单⽇期、收货地址等因素对订单量的影响以及订单转换情况，旨在提升⽤户下单量和订单转换率，进⽽提⾼⽤户实际⽀付额。4.2.2分析逻辑本⽂结合订单流程以逻辑树⽅法分析订单数⽬的影响因素，从以下⼏个维度展开：4.2.3数据读取及处理importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportosimportwarningswarnings.filterwarnings('ignore')#读取数据df=pd.read_csv('tmall_order_report.csv')df.head()#利⽤pandas_profiling⼀健⽣成数据情况（EDA）报告:数据描述、缺失、相关性等情况importpandas_profilingasppreport=pp.ProfileReport(df)report#规范字段名称df.columnsdf=df.rename(columns={'收货地址':'收货地址','订单付款时间':'订单付款时间'})df.columns#查看数据基本信息()#数据类型转换df['订单创建时间']=pd.to_datetime(df.订单创建时间)df['订单付款时间']=pd.to_datetime(df.订单付款时间)()#数据重复值df.duplicated().sum()⽆#数据缺失值df.isnull().sum()#数据集描述性信息df.describe()#筛选数据集df_payed=df[df['订单付款时间'].notnull()]#⽀付订单数据集df_trans=df_payed[df_payed['买家实际⽀付⾦额']!=0]#到款订单数据集df_trans_full=df_payed[df_payed['退款⾦额']==0]#全额到款订单数据集4.2.4总体运营指标分析分析2⽉份成交订单数的变化趋势importpyecharts.optionsasopts#将订单创建时间设为indexdf_trans=df_trans.set_index('订单创建时间')#按天重新采样se_trans_month=df_trans.resample('D')['订单编号'].count()frompyecharts.chartsimportLine#做出标有具体数值的变化图name='成交订单数'(Line().add_xaxis(xaxis_data=list(se_trans_month.index.day.map(str))).add_yaxis(series_name=name,y_axis=se_trans_month,).set_global_opts(yaxis_opts=opts.AxisOpts(splitline_opts=opts.SplitLineOpts(is_show=True))).render_notebook())⼩结1：2⽉上半⽉，多数企业未复⼯，快递也停运，暂时⽆法发货，订单数很少；2⽉下半⽉，随着企业复⼯逐渐增多，订单数开始上涨。se_trans_map=df_trans.groupby('收货地址')['收货地址'].count().sort_values(ascending=False)#为了保持收货地址和下⾯的地理分布图使⽤的省份名称⼀致，定义⼀个处理⾃治区的函数defstrip_region(iterable):result=[]foriiniterable:ifi.endswith('⾃治区'):ifi=='内蒙古⾃治区':i=i[:3]result.append(i)else:result.append(i[:2])else:result.append(i)returnresult#处理⾃治区se_trans_map.index=strip_region(se_trans_map.index)#去掉末位‘省’字se_trans_map.index=se_trans_map.index.str.strip('省')importpyecharts.optionsasoptsfrompyecharts.chartsimportMap#展⽰地理分布图name='订单数'(Map().add(series_name=name,data_pair=[list(i)foriinse_trans_map.items()]).set_global_opts(visualmap_opts=opts.VisualMapOpts(max_=max(se_trans_map)*0.6)).render_notebook())⽤直观的地图来观察成交订单数的分布情况⼩结2：地区对订单数量影响较⼤，⼀般较发达地区订单数较⼤，边远地区较⼩。这⾥可能需要具体分析每个地区的商品种类、消费群体以及优惠政策，快递等原因。可以根据原因进⼀步提⾼其他地区的订单数量和销售⾦额。4.2.5销售转化指标订单数以及订单转化率的呈现dict_convs=dict()#字典dict_convs['总订单数']=len(df)df_payeddict_convs['订单付款数']=len(df_payed.notnull())df_trans=df[df['买家实际⽀付⾦额']!=0]dict_convs['到款订单数']=len(df_trans)dict_convs['全额到款订单数']=len(df_trans_full)#字典转为dataframedf_convs=pd.Series(dict_convs,name='订单数').to_frame()df_convs#求总体转换率，依次⽐上总订单数total_convs=df_convs['订单数']/df_convs.loc['总订单数','订单数']*100df_convs['总体转化率']=total_convs.apply(lambdax:round(x,0))df_convs#求单⼀转换率single_convs=df_convs.订单数/(df_convs.订单数.shift())*100single_convs=single_convs.fillna(100)df_convs['单⼀转化率']=single_convs.apply(lambdax:round(x,0))df_convs画转换率漏⽃图，直观呈现订单转化情况frompyecharts.chartsimportFunnelfrompyechartsimportoptionsasoptsname='总体转化率'funnel=Funnel().add(series_name=name,data_pair=[list(z)forzinzip(df_convs.index,df_convs[name])],is_selected=True,label_opts=opts.LabelOpts(position='inside'))funnel.set_series_opts(tooltip_opts=opts.TooltipOpts(formatter='{a}<br/>{b}:{c}%'))funnel.set_global_opts(title_opts=opts