Python数据分析及应用 课件 第8章时间序列分析

1云南财经大学信息学院

Python数据分析及应用第8章

时间序列分析

目录

8.1时间获取8.2时间的格式化8.3时间列的基本操作8.4时间索引（1）知识目标：认识Python中时间的常用表示方法，掌握不同表示方法之间的相互转换，掌握不同时间单位的时间的获取方法，理解时间在数据分析中的重要性。（2）技能目标：理解在数据分析中时间作为分析对象和分析依据的不同，掌握时间在数据分析中的应用，认识到时间序列分析的价值。（3）素质目标：培养分析问题并合理解决问题的能力，培养调试程序并修改程序的能力，培养软件安全和数据安全的意识，培养优化代码以提高代码质量和安全性的意识。3学习目标时间序列分析的价值时间在各种数据分析中是一种重要的分析对象和分析依据。时间序列数据是一系列随时间间隔收集的数据，记录了一个或多个变量随时间的变化趋势，如股票价格、人口数量、气温、交通流量、销售额等。随着大数据、物联网、人工智能等新兴技术的兴起，时间序列数据广泛存在于各个领域，如工业控制、农业、股票市场、气象、经济、人口统计、电子商务、网络流量、物联网、外汇交易等。时间序列数据典型特点是产生频率快、严重依赖于采集时间。时间序列分析是一种分析时间序列数据的特定方法。时间序列分析的目标是找出时间序列数据中的模式、趋势和季节性，以及进行未来趋势预测、异常检测、决策制定等。无论是哪种应用环境中的时间序列数据，都可以通过对它的分析做出更明智的决策。但是，在Python程序中应如何对时间序列数据进行处理和分析呢？4本章导读1、datetime库2、获取当前时间3、获取特定时间4、时间的计算58.1时间获取1、datetime库datetime库以类的方式提供多种日期和时间表达方式。68.1时间获取类名描述datetime.date日期表示类，可以表示年、月、日等datetime.time时间表示类，可以表示小时、分钟、秒、毫秒等datetime.datetime日期和时间表示的类，功能覆盖date和time类datetime.timedelta与时间间隔有关的类，可以表示两个日期或时间之间的时间间隔datetime.tzinfo与时区有关的信息的表示类datetime类提供了多种方法和属性，以便对日期和时间进行各种操作，如时间获取、时间格式化、计算日期和时间差等。2、获取当前时间当前时间：是指当前运行代码的计算机系统的时间。使用datetime库datetime类的now()方法获取当前时间。78.1时间获取实例8.1获取当前时间方法一：fromdatetimeimportdatetime#导入datetime库的datetime类print(datetime.now())方法二：importdatetime#导入datetime库print(datetime.datetime.now())程序运行结果：2024-07-1720:21:29.4009033、获取特定时间信息指获得特定的时间单位信息。88.1时间获取实例8.2分别获取当前时间的年、月、时、分信息。fromdatetimeimportdatetimeprint(datetime.now())#获取当前时间并输出print(datetime.now().year)#获取当前时间的年份并输出print(datetime.now().month)#获取当前时间的月份并输出print(datetime.now().hour)#获取当前时间的小时并输出print(datetime.now().minute)#获取当前时间的分钟并输出程序运行结果：2024-07-1720:21:29.4009032024720213、获取特定时间信息使用datetime类型对象的date()和time()方法分别得到特定时间的日期和时间值。98.1时间获取实例8-3分别得到当前时间的日期和时间值实例8-3分别得到当前时间的日期和时间值。fromdatetimeimportdatetimenow=datetime.now()#获取当前时间，为datetime类型的对象print(now)print(now.date())#获得该对象的日期并输出print(now.time())#获得该对象的时间并输出程序运行结果：程序运行结果：2024-07-1720:21:29.4009032024-07-1720:21:29.4009033、获取特定时间信息使用datetime类的datetime()函数，可以通过指定特定的年、月、日、时、分、秒等时间单位的值，生成一个特定的datetime类型的时间。108.1时间获取实例8.3分别得到当前时间的日期和时间值fromdatetimeimportdatetimenow=datetime.now()#获取当前时间，为datetime类型的对象print(now)print(now.date())#获得该对象的日期并输出print(now.time())#获得该对象的时间并输出程序运行结果：2024-07-1720:21:29.4009032024-07-1720:21:29.4009033、获取特定时间信息使用datetime类的datetime()函数，可以通过指定特定的年、月、日、时、分、秒等时间单位的值，生成一个特定的datetime类型的时间。118.1时间获取使用方法：datetime(year,month,day,hour=0,minute=0,second=0,microsecond=0)year：指定的年份，四位数。取值范围是1-9999之间的整数。例如：2021。month：指定的月份，1-12之间的整数。day：指定的日，1-31之间的整数。hour：指定的小时，0-23之间的整数。minute：指定的分钟数，0-59之间的整数。second：指定的秒数，0-59之间的整数。microsecond：指定的微秒，0-999999之间的整数。正常使用此函数需要至少三个参数值。3、获取特定时间信息datetime.datetime()128.1时间获取实例8.4获取特定时间fromdatetimeimportdatetimeprint(datetime(2024,1,1,9,30,0))程序运行结果：2024-01-0109:30:004、时间的计算时间的计算包括计算某个时间之前或之后的某个时间，计算两个时间之间的间隔，比较日期的大小等。方法是将datetime类和timedelta类结合来处理时间间隔的问题。使用timedelta类可以轻松地对日期进行加减操作，实现日期的前后推移。138.1时间获取timedelta类表示一段时间，而不是一个时刻。运算描述someday2=someday1+tdelta如果tdelta.days>0，则在时间线上前进；如果tdelta.days<0，则在时间线上后退。someday2=someday1-tdelta如果tdelta.days>0，则在时间线上后退；如果tdelta.days<0，则在时间线上前进。tdelta=someday1-someday2计算两个时间的间隔。两个时间均为同种类型的对象，否则将会引发TypeError。someday1==someday2判断两个时间是否相等。someday1!=someday2判读两个时间是否不相等。someday1<someday2进行两个时间大小的比较，判断日期的先后顺序。someday1>someday2someday1<=someday2someday>=someday2someday1和someday2是datetime类型的对象，表示某一特定的时间；tdelta是timedelta类型的对象，表示一个时间间隔。4、时间的计算timedelta()函数可以创建timedelta对象。148.1时间获取使用方法如下：timedelta(days=0,seconds=0,microseconds=0,milliseconds=0,minutes=0,hours=0,weeks=0)返回一个timedelta对象，表示两个时间之间的差异。实例8-5获取当前时间和前一天的时间fromdatetimeimportdatetimefromdatetimeimporttimedelta#导入datetime库的timedelta类now=datetime.now()print(now)yesterday=now+timedelta(days=-1)#与当前时间间隔为-1天，即计算前一天的时间print(yesterday)程序运行结果：2024-07-1720:21:29.4009032024-07-1620:21:29.4009034、时间的计算158.1时间获取实例8-6计算两个时间的间隔fromdatetimeimportdatetimefromdatetimeimporttimedeltatime1=datetime(2024,1,1,9,30,0)time2=datetime(2024,2,4,9,10,0)print(time1-time2)程序运行结果：-34days,0:20:00实例8-7获取上个月第一天和最后一天的日期fromdatetimeimportdatetimefromdatetimeimporttimedeltatoday=datetime.now()print(today)#计算上个月的最后一天时间mlast_day=datetime(today.year,today.month,1)-timedelta(days=1)print(mlast_day.date())#仅输出日期mfirst_day=datetime(mlast_day.year,mlast_day.month,1)#计算上个月的第一天print(mfirst_day.date())程序运行结果：2024-07-2123:27:48.3476032024-06-302024-06-014、时间的计算timedelta()函数可以创建timedelta对象。168.1时间获取实例8-8计算指定日期的当月最后一天的日期和本月天数fromdatetimeimportdatetimefromdatetimeimporttimedeltadate=datetime(2024,5,23)print("指定日期：",date)next_month=datetime(date.year,date.month+1,1)#计算指定日期月份的下个月的第一天mlast_day=datetime(next_month.year,next_month.month,1)-timedelta(days=1)#计算指定月份的最后一天print("指定日期当月的最后一天：",mlast_day.date())print("指定日期当月的天数：",mlast_day.day)#本月最后一天的日子程序运行结果：指定日期：2024-05-2300:00:00指定日期当月的最后一天：2024-05-31指定日期当月的天数：31在Python中，时间可以用不同的表示方法来表示。常用的时间表示方法有时间戳、时间元组和格式化的时间字符串。178.2时间的格式化1、时间戳2、时间字符串3、不同单位的时间1、时间戳时间戳是一个表示时间的数值,表示从1970年1月1日0点以来到当前时间点所经过的总秒数，这个值越大，说明离1970年初那个时间点越远。很多数据文件都采用时间戳来存储时间。（一）时间戳的获取使用time库中的time()函数可以获取当前时间的时间戳188.2时间的格式化实例8-9获取当前时间的时间戳importtime#导入time库timestamp=time.time()#获取当前时间戳print("当前时间戳：",timestamp)#输出结果随运行程序的当前时间变化程序运行结果：当前时间戳：1721469498.74092751、时间戳可以使用datetime库的datetime类的fromtimestamp()方法将时间戳转换成标准格式的时间。（二）时间戳与标准格式时间的相互转换可以使用datetime库中的datetime.now()获取当前时间，然后使用datetime.timestamp()方法将其转换为时间戳。198.2时间的格式化实例8-10时间戳与标准格式时间的相互转换#时间戳转换为标准格式的时间importtimefromdatetimeimportdatetimetimestamp=time.time()now=datetime.fromtimestamp(timestamp)#将时间戳转化为datetime对象print("当前时间：",now)#获取当前时间并转换为时间戳now=datetime.now()timestamp=datetime.timestamp(now)#将当前时间转换为时间戳print("当前时间戳：",timestamp)程序运行结果：当前时间：2024-07-2100:18:39.900219当前时间戳：1721492319.9002182、时间字符串字符串表示的时间（简称时间字符串）研究datetime对象与时间字符的相互转换（一）datetime对象转换为时间字符串strftime()方法实现将datetime对象转换成制定格式的时间字符串。不论是字符串中的时间单位，还是时间单位的次序都可以自由选择和设定。208.2时间的格式化实例8-11获取当前时间并转化为指定的字符串形式的时间fromdatetimeimportdatetimetoday=datetime.now()print(today.strftime('%H小时%M分钟%S秒%Y年%m月%d日'))print(today.strftime("%Y-%m-%d"))程序运行结果：01小时12分钟26秒2024年07月21日2024-07-212、时间字符串strftime()方法实现将datetime对象转换成制定格式的时间字符串。218.2时间的格式化strftime()方法的参数是一个表示时间的格式化字符串，用来自定义时间的输出格式。格式化字符串包括格式占位符和分隔符两部分。%H、%M、%S、%Y、%m、%d等是占位符，代表年、月、日、小时、分钟、秒等信息。分隔符可以任意指定。在实例8-11中横线“-”和“年”、“月”、“日”、“小时”、“分”、“秒”等汉字都是字符串中的分隔符，在得到的时间字符串中原样保留。占位符描述占位符描述%Y四位数年份，如“2024”%A完整的周几，例如“Monday”%y两位数年份，如“24”%a简写的周几，例如“Mon”%m数字表示的月份,“01”至“12”%H小时（24小时制），“00”至“23”%B完整的月份，例如“November”%I小时（12小时制），“01”至“12”%b简写的月份，例如“Nov”%M分，“00”至“59”%d一月中的第几天，“01”至“31”%S秒，“00”至“59”%j一年中的第几天，“001”至“366”%p“AM”或“PM”%w一周中的第几天，“0”（周日）至“6”（周六）%%就是“%”字符表8-6strftime()常用格式占位符2、时间字符串（二）时间字符串转换为datetime对象strptime()方法将特定格式的时间字符串解析成datetime对象。具体语法为strptime(time_string,format)，其中time_string是要解析的时间字符串；format是时间字符串的格式说明，用格式占位符说明在time_string中哪些数字对应哪个时间单位，哪些符号是不需要转换的。该方法返回一个datetime类型的对象，表示解析后的时间。如果解析失败，则会抛出ValueError异常。228.2时间的格式化2、时间字符串（二）时间字符串转换为datetime对象238.2时间的格式化实例8-12将特定格式的时间字符串解析成标准格式的时间fromdatetimeimportdatetimeprint("解析一:",datetime.strptime('2024/02/2709:10:20','%Y/%m/%d%H:%M:%S'))print("解析二:",datetime.strptime('02月27日2024年09:10:20','%m月%d日%Y年%H:%M:%S'))程序运行结果：解析一:2024-02-2709:10:20解析二:2024-02-2709:10:20在格式字符串中说明时间字符串中的“/”、“年”、“月”、“日”和“:”是不需要解析的3、不同单位的时间除了用年月日来表示日期外，有时需要知道特定的日期是星期几、一年中的第几周或者是否为工作日等。248.2时间的格式化实例8-13获取特定日期的其他单位的时间信息fromdatetimeimportdatetimedate=datetime(2024,7,22)#假设特定日期为2024年7月22日print(date.weekday())#获取特定日期是星期几print(date.isoweekday())#获取特定日期是星期几print(date.isocalendar())#获取特定日期表示的ISO日历格式的元组print(date.isocalendar().week)#获取特定日期是这年的第几周程序运行结果：01datetime.IsoCalendarDate(year=2024,week=30,weekday=1)30weekday()的返回结果中用0-6表示星期一到星期天；isoweekday()的返回结果中用1-7表示星期一到星期天。isocalendar()的返回结果采用1-7表示星期几。第四行输出第三行输出在日常生活工作中经常会遇到各种与时间相关的数据，比如交易记录、访问记录等，这些数据往往按照时间形成一个个时间序列，可以专门从时间变化的角度来对这些数据进行分析，比如看看发展趋势、找出可能的周期、预测未来可能的数值等。258.3时间列的基本操作1、时间列格式的转换2、时间列的使用1、时间列格式的转换Pandas中方便处理的时间是标准的datetime类的对象；若在数据文件中收集的时间是字符串形式的，则在数据分析前后，涉及到时间字符串与datetime类型的相互转换。268.3时间列的基本操作实例8-14查看“企业数据.csv”中各列数据的类型importpandasaspddf=pd.read_csv('c:\\temp\\企业数据.csv')print(df.head(5))#显示前5行数据print(df.dtypes)#显示各列的数据类型程序运行结果：…………(省略前5行数据的显示）企业名称object注册日期object吊销日期object注册资金（万元）int64使用“C:\temp\企业数据.csv”数据文件分析；结果显示“企业数据.csv”中有两列时间数据，pandas读取后日期字段类型默认是object，实际上数据类型为字符串类型。1、时间列格式的转换（一）时间字符串数据转换为datetime类型to_datetime()函数实现pandas中时间字符串转换成datetime对象。to_datetime()的参数可以是各种不同的数据类型，包括字符串、整数、浮点数等，它会尝试根据输入数据的格式进行解析，并将其转换为标准的时间格式。278.3时间列的基本操作实例8-15将日期列数据转换成datetime类型importpandasaspddf=pd.read_csv('c:\\temp\\企业数据.csv')df['注册日期']=pd.to_datetime(df['注册日期'])df['吊销日期']=pd.to_datetime(df['吊销日期'])print(df.dtypes)程序运行结果：企业名称object注册日期datetime64[ns]吊销日期datetime64[ns]注册资金（万元）int64结果显示使用to_datetime()将“注册日期”和“吊销日期”两列数据转换成了datetime类型。1、时间列格式的转换to_datetime()函数的功能很强大，只要表示时间的字符串是常见的时间表达格式，都能解析成正确的datetime类型。有的时间字符串的日期格式比较古怪的，如在“2010年-08-06”，仅在日期的年份后加了一个汉字“年”，此时会产生“DateParseError:Unknowndatetimestringformat”。解决这种问题，需使用datetime类中的strptime()方法。288.3时间列的基本操作实例8-16将特定格式的时间字符串数据转换为datetime类型importpandasaspdfromdatetimeimportdatetimedf=pd.read_csv('c:\\temp\\企业数据1.csv')print(df.head(5))#输出日期列格式转换前的前五行数据df['注册日期']=df['注册日期'].apply(datetime.strptime,args=['%Y年-%m-%d'])df['吊销日期']=df['吊销日期'].apply(datetime.strptime,args=['%Y年-%m-%d'])print(df.head(5))#输出日期列格式转换后的前五行数据程序运行结果：省略使用“C:\temp\企业数据1.csv”数据文件分析对比日期列格式转换前后的前五行数据的输出，能看出strptime()在此处的功能。1、时间列格式的转换pandas的apply()函数apply()自身是不带有任何数据处理功能的，可以用来调用一个函数，让此函数对数据对象进行批量处理，数据对象可以是pandas对象（如Series、DataFrame等）的每个元素、行或列。datetime.strptime()对两列的日期数据进行解析，其中参数args的值是strptime()的位置参数，指明了要解析的时间字符串的特定格式，其中%Y、%m、%d分别表示年、月、日三个日期信息。298.3时间列的基本操作1、时间列格式的转换（二）datetime类型数据转换为时间字符串方法一：字符串的连接操作。先取出时间的年、月、日各组成部分，将其转换为字符串，然后和其他字符拼凑成最终所需的格式。308.3时间列的基本操作实例8-17查询各企业注册时间，且以“××××年××月××日”的形式显示。importpandasaspdfromdatetimeimportdatetimedf=pd.read_csv('c:\\temp\\企业数据.csv')#将数据文件中的时间字符串转换成datetime类型df['注册日期']=pd.to_datetime(df['注册日期'])df['吊销日期']=pd.to_datetime(df['吊销日期'])df['注册日期str']=df['注册日期'].dt.year.apply(str)+'年'+df['注册日期'].dt.month.apply(str)+'月'+df['注册日期'].dt.day.apply(str)+'日'#添加新列,该列数据是以时间字符串“××××年××月××日”形式表示的“注册日期”print(df[['企业名称','注册日期str']].head(5))#显示前5行输出程序运行结果：企业名称注册日期str0蓝虹电力设备有限公司2010年8月6日1富景生态环境有限公司2010年7月2日2星讯通信器材技术有限公司2002年3月14日3威孚汽车柴油系统有限公司2004年7月15日4无忧科技有限公司2003年8月10日dt.year、dt.month和dt.day获取了日期列数据的年、月、日属性值1、时间列格式的转换（二）datetime类型数据转换为时间字符串方法二：strftime()可以将datetime对象格式化为任意需要的格式。318.3时间列的基本操作实例8-18查询各企业吊销时间，且以“××月-××日：(××××年)”的形式显示。importpandasaspdfromdatetimeimportdatetimedf=pd.read_csv('c:\\temp\\企业数据.csv')df['注册日期']=pd.to_datetime(df['注册日期'])df['吊销日期']=pd.to_datetime(df['吊销日期'])df['吊销日期str']=df['吊销日期'].apply(datetime.strftime,args=['%m月-%d日：(%Y年)'])#添加新列,该列数据是以时间字符串“月-日：(年)”形式表示的“吊销日期”print(df[['企业名称','吊销日期str']].head(5))#显示前5行程序运行结果：企业名称吊销日期str0蓝虹电力设备有限公司05月-25日：(2024年)1富景生态环境有限公司08月-10日：(2016年)2星讯通信器材技术有限公司10月-15日：(2012年)3威孚汽车柴油系统有限公司10月-10日：(2017年)4无忧科技有限公司09月-30日：(2023年)2、时间列的使用Datetime对象可以进行排序、筛选和查询的操作。（一）根据日期进行排序328.3时间列的基本操作实例8-19根据注册日期对各企业进行降序排序。importpandasaspdfromdatetimeimportdatetimedf=pd.read_csv('c:\\temp\\企业数据.csv')df['注册日期']=pd.to_datetime(df['注册日期'])df['吊销日期']=pd.to_datetime(df['吊销日期'])df=df.sort_values(by='注册日期',ascending=False)print(df.head(5))#显示排序后的前五行程序运行结果：企业名称注册日期吊销日期注册资金（万元）11建科创新技术研究院有限公司2021-02-032023-08-125513恒雅智能装备有限公司2020-12-102021-05-172512奥林波斯电力能源有限责任公司2020-01-182022-05-227019电力工业服务公司2014-06-182019-05-2910010驰环科技有限公司2012-06-072023-07-15602、时间列的使用Datetime对象可以进行排序、筛选和查询的操作。（二）根据日期进行筛选可以根据日期筛选出符合要求的数据。通常先创建一个时间或日期点，然后用pandas数据中的日期进行比较。338.3时间列的基本操作实例8-20筛选出在2020年及以后注册的企业信息。importpandasaspdfromdatetimeimportdatetimedf=pd.read_csv('c:\\temp\\企业数据.csv')df['注册日期']=pd.to_datetime(df['注册日期'])df['吊销日期']=pd.to_datetime(df['吊销日期'])date=datetime(2020,1,1)#创建时间点df1=df[df['注册日期']>=date]#日期的比较print(df1)程序运行结果：企业名称注册日期吊销日期注册资金（万元）11建科创新技术研究院有限公司2021-02-032023-08-125512奥林波斯电力能源有限责任公司2020-01-182022-05-227013恒雅智能装备有限公司2020-12-102021-05-17252、时间列的使用Datetime对象可以进行排序、筛选和查询的操作。（三）根据日期进行统计可以根据日期筛选出符合要求的数据。通常先创建一个时间或日期点，然后用pandas数据中的日期进行比较。348.3时间列的基本操作实例8-21查询存活时间最长的5个企业的信息。importpandasaspdfromdatetimeimportdatetimedf=pd.read_csv('c:\\temp\\企业数据.csv')df['注册日期']=pd.to_datetime(df['注册日期'])df['吊销日期']=pd.to_datetime(df['吊销日期'])df.insert(3,'存活时间',"")#在第3列插入“存活时间”列，列值为空df['存活时间']=df['吊销日期']-df['注册日期']df=df.sort_values(by='存活时间',ascending=False)print(df.head(5))程序运行结果：企业名称注册日期吊销日期存活时间注册资金（万元）4无忧科技有限公司2003-08-102023-09-307356days3017勘察测绘院有限公司2004-01-182021-10-216486days705无太水氢科技有限公司2002-10-102019-03-226007days12020东新木业有限公司2002-04-302018-06-225897days5021绿丹美化妆品有限公司2005-03-242019-10-175320days45两个datetime类型的对象相减得到了企业的存活时间，并按存活时间进行降序排序，输出前五行记录，得到存活时间最长的5个企业信息。。2、时间列的使用Datetime对象可以进行排序、筛选和查询的操作。（三）根据日期进行统计358.3时间列的基本操作实例8-22查询每年注册的企业平均注册资金。importpandasaspdfromdatetimeimportdatetimedf=pd.read_csv('c:\\temp\\企业数据.csv')df['注册日期']=pd.to_datetime(df['注册日期'])df['吊销日期']=pd.to_datetime(df['吊销日期'])group=df['注册资金（万元）'].groupby(df['注册日期'].dt.year).mean()print(group)程序运行结果：（由于篇幅的原因，省略了部分输出结果）注册日期200180.000000200276.666667……202155.0000002019-10-175320days45两个datetime类型的对象相减得到了企业的存活时间，并按存活时间进行降序排序，输出前五行记录，得到存活时间最长的5个企业信息。。1、时间索引的建立时间作为索引，这就是时间索引。时间索引可以使时间作为一种分析的依据，而不仅仅是一种分析的对象。368.4时间索引实例8-23设置“注册日期”列为索引。importpandasaspdfromdatetimeimportdatetimedf=pd.read_csv('c:\\temp\\企业数据.csv')df=df.set_index('注册日期')#将“注册日期”列设置为数据框架df变量的索引df.index=pd.to_datetime(df.index)#将变量df的索引转换为datetime类型print(df.head(5))程序运行结果：企业名称吊销日期注册资金（万元）注册日期2010-08-06蓝虹电力设备有限公司2024-5-251002010-07-02富景生态环境有限公司2016-08-10502002-03-14星讯通信器材技术有限公司2012-10-15602004-07-15威孚汽车柴油系统有限公司2017-10-10652003-08-10无忧科技有限公司2023-09-3030使用“C:\temp\企业数据.csv”数据文件分析“注册日期”列已代替了之前的0、1、2……整数索引，成为了变量df的索引。使用type(df.index)显示索引的类型是DatetimeIndex。1、时间索引的使用时间索引提供了一种选择数据行的依据。时间索引还