联通-d9-数据分析

日概1章:Numpy基1numpy2342章:Pandas入1pandas2pandas3pandas 第1章NumPy基 NumPy简 获取数组属 统计方 线性代 数 矩阵操 numpy上的通用函数 Numpy广播机制详 numpysumaxis详 练 第2章pandas入 pandas简 pandas数据结 生成 获取数 修改数 汇总统 应用函数及时间序 数据离散 交叉 附录查看 1NumPyNumPy，因此列表中所保存的是对象的指针。这样为了保存一个简单的[1,2,3,4,5]5个指针和五个整数对象。这种处理方式显然比较消耗内存和CPU。虽然Python还提供了一个array模块，但是由于它不支持，更没有各种运算函数，NumPy（NumerialPython的简称）的诞生弥补了这些不足，NumPy提供了两种基本的ufuncfunctionobject）则是能够对数组进行处理的函数。

NumPy并没有提供很高级的数据分析功能，不过后续经常使用的Pandas正是基NumPyNumpyimporttimeastmimportnumpyasdim100000#数据长度(包含的元素个数)x1=np.ones(dim)x2=np.ones(dim)yFor=np.ones(dim)tStarttm.clock(foriinrange(dim):yFor[i]=x1[i]*x2[i]tFortEnd-tStart#计算用时tStart=tm.clock()#开始计时yVector=x1*x2tEnd=tm.clock()#停止计时tVectortEnd-tStart#ndarrayimportnumpyasnp rangendarraynumpy.loadtxt导入文件数据In[5]:!catarray([[1.,2.,3.,4.,[6.,9.,[11.,14.,ndarray是个同构数据组，即其中所有元素的类型都是相同的，除了数据类型外，当然shape，shape用元组形式表示各维大小。 ##改变其shape （6-1NumPy数组中元素索引012

(axis(axis数组的索引与序列的索引一样，都是从0开始。二维axis(axis列列 逗号隔开 ##获取索引为2及以后的所有元素 ##获取索引为2至5（不包含5）的3个元素 ###获取行索引为0，列索引为1的这个元素。list02[0,2:3]###获取行索引为0，列索引为2（但包含3）的这个元素。 ###获取行索引为0所有元素，或取第1行 numpy上可以进行多种统计计算，可以在整个数组或某轴向上进行统计计算，非常方便sum、mean、std、var、max、min等。 ##按1轴（即水平方向）统计 征值等，numpy.linalg有相关函数，直接使用即可，非常方便。 a=np.arange(0,60,10).reshape(-1,1)a=np.arange(0,60,10).reshape(-1,1)+np.arange(0,array([[001a[3:,[0,2,##0310,2,5array([[30,32,[40,42,[50,52,022102array([[20,22,[40,42,A=np.array([[1,2],[-1,B=np.array([[2,0],[3,对应元素相乘(np.multiply(),1-224*31-224*304=2-array([[2,0],[-3,array([[2,0],[-3,044=8044=8 23- np.dot(A,BA.dot(B)array([[8,[10,array([3.8,对矩阵进行线性代数运行，如求转置、特征向量等。求A##求A的转置 array([[1,-[2,Aarray([[0.66666667,-[0.16666667,Aeigenvalues,eigenvectors=eigenvalues，eigenvectorsimportnumpy.linalgas d2(3)transpose(0,1,2,...,n-现在传入的为(1,0)C[x][y]C[y][x]，01C.transpose((1,0))01array([[0.68752896,-0.11705268,0.49078462,-0.48826679,--[1.01686837,-1.55073073,-1.40240593,-0.98632156,[0.95644284,-0.19360605,1.82482162,-0.45383782,0.9131711importnumpyasimportimportnumpy.randomasarr=np.random.randn(5,4)print(arr.mean(axis1))print(arr.sum(0))axisimportnumpyasimportnumpy.randomasarr1=np.array([[1,2,3],[4,5,arr2=np.array([[7,8,9],[10,11,print(oncatenate([arr1,arr2],axis=0))#按行连接,或沿y轴堆print(oncatenate([arr1,arr2],axis=1))#按列连接，或沿x轴堆print('stackstack')print(np.vstack((arr1,arr2print(np.hstack((arr1,arr2通用函数（ufunc）是一种元素级的操作，可以用数组表达式代循环来（这种方法通常又称为矢量化的有abssqrtsquare um um、minimum np.sqrt(np.abs(a2))NumPyufuncc度非常快。让来看一个例子：importtimeimportmathimportnumpyasnpx=[i*0.001foriinnp.arange(1000000)]start=time.clock()fori,tinenumerate(x):x[i]=math.sin(t)print("math.sin:",time.clock()-startx=[i*0.001foriinnp.arange(1000000)]x=np.array(x)start=time.clock()print("numpy.sin:",time.clock()-startmath.sin:numpy.sin: ufuncNumpyUniversalfunctionsshapeshape不相 b：3x2，则b向a看齐，在b的前面加1：变为：1x3x22、输出数组的shape是输入数组shape的各个轴上的最大值；31时，这个数组能41时，沿着此轴运算时都用此轴上的第一组值。a4x1矩阵，b1，bb变为2，输出的结果为各个轴上的最大值，即输出结果应该为（4,3）矩阵a如何由（4,1）变为（4,3）矩阵？b如何由（1,3）变为（4,3）矩阵？ ，否则太耗内存，而是采用其它对象如ogrid对象，进行网格处理）即可。importnumpyasa=np.arange(0,40,10).reshape(4,b=np.arange(0,3)[[[01 [10,11,[20,21,[30,31,tuplearrays才算兼容：1（Image(3darray):256x256x3Scale(1d Result(3darray):256x256x(4darray):8x1x6x(3d 7x1xResult(4darray):8x7x6x(2darray):5x(1d Result(2darray):5x(2darray):15x3x(1darray):15x1xResult(2darray):15x3x(1darray):(1darray): （trailingdimension）(2d 2x(3darray):8x4x3（倒数第二维不匹配numpysumaxisimportnumpyasa=np.array([[1,5,5,[9,6,2,[3,7,9,print(np.sum(a,[131816axis=0axis=1的含义是是否保持维数,默认是false.通过上面的例子可以发现sum之后2维变成1维.keepdims=True,sum结果又加一个[],以保持它的维度不变.这在某些importnumpyasa=np.array([[1,5,5,[9,6,2,[3,7,9,print(np.sum(a,print(np.sum(a,axis=0,keepdims=True).shape)print(np.sum(a,[[131816(1,练1、生成一个shape5x3的矩阵，假设该矩阵为2、求矩阵A1中，第2行、第4行的最3、求矩阵A1的转置，其结果假设为4、求矩阵A1、A2的点积，其结果假设为5、求矩阵A3每行2pandaspandas前面介绍了NumPy，它提供了数据处理功能，但需要写很多命令，是否有更加便捷、直观、有效的方法？Pandas就是为此而诞生的。Pandas提供了众多更高级、更直观的数据importnumpyasfrompandasimportSeries,DataFrameimportpandasaspd结构，由数据(values)及索引(indexs)组成，DataFrame是一个表格型的数据结构，它有一组有序列，每列的数据可以为不同类型（NumPy数据组中数据要求为相同类型）,它既有行（ndarray，SeriesSeries有哪些特点？Series一个最大特点就是可以使用索引，序列及ndarray也有索引，但都是位置索[2:3]2这个元素等等，无法精确定位。Series的索引（它位置索引自然保留）使用起来就方便多了，而且定位也更精确，importnumpyasfrompandasimportSeries,DataFrameimportpandasaspd dtype: s2=Series([1,3,6,-1,2,8],index=['a','c','d','e','b','g'])#定义索a1c3d6eb2g8dtype: DataFrame除了索引有位置索引也有索引，而且其数据组织方式与MySQL的表极DataFrame几要素：index、columns、values等，columns就像数据库表的列表，indexvalues就是值了。34DataFrame，并定义其索引（如果不指定，缺省为整数索引） 生成DataFrameobj[]操作、obj.iloc[] obj.loc[]obj.iloc[]loc通过行获取行数据，iloc通过行号获取行数据loc在index的上进行索引,范围包括start和ilocindex的位置上进行索引,importpandasasdata=index=dfpd.DataFrame(data=dataindex=index,columns=columns)###########loc df.loc[['a','b'],['c1','c3']]#通过行、列名称获取行列数 iloclocix格式。pandas0.20.0及以上版本，ix已经丢弃，请尽lociloc; d3###从副本中删除，原数据没有被删除 ###删除第addr列ignore_index=True，否则会报错d3###原数据未变DataFramePandas有一组常用的统计方法，可以根据不同轴方向进行统计，当然也可按不同的列（7-1Pandas统计方法NAmin、csvfrompandasimportDataFrameimportnumpyasnpimportpandasasinputfile=r'C:\Users\lenovo\data\stud_score.csv'data=pd.read_csv(inputfile,encoding='gbk')###names，encoding，skiprows#excel文件，可用read_exceldf.head(3)3dfdf.count()NaN 即各项-均值的平方求和后再除以N这里要求把stat_date的缺省值（NaN）改为'2018-09-df22=pd.pivot_table(df21,index='sub_name',values='sub_score')importpandasasfrompandasimportDataFrameimportmatplotlib.pyplotaspltimportmatplotlibfrommatplotlib.font_managerimportfont=FontProperties(fname=r"c:\windows\fonts\simkai.ttf",%matplotlibxxticks1=list(df22.index)plt.bar(x,y,width=0.35,align='center',color=#x、y轴与图形标题fora,binplt.text(a,plt.text(a,b+0.05,0f'b,ha='centerva='bottom',fontsize=14)#设置y轴的范围importnumpyasnpimportpandasasfrompandasimportDataFrameimportpymysqlconn=pymysql.connect(host='localhost',port=3306,user='root',passwd='feigu',db='feigudb',charset='gbk')stud_info',conn)df_info3df2df_info1stud_codedf3根据字段stud_code,sub_code5注：DataFramedf.[Tab键]方式查看，具体命q即可。pandasexcelsheetwithpd.ExcelWriter(r'C:\Users\lenovo\test1107.xlsx')aswriter: 可参考 df2.to_csv("test1107.csv",index=False,sep=',')#把pandascsvapplymapmap，也可以作用到元素级。以下通过实例说明具体使用。d1.apply(lambdax:x.max()-x.min(),axis=0)d1.applymap(lambdax:x*2) d1.iloc[1].map(lambda pandas最基本的时间序列类型就是以时间戳（时间点（pythondates=['2017-06-20','2017-06-21','2017-06-22','2017-06-23','2017-06-ts=pd.Series(np.random.randn(5),index=ts['2017-Pandas中是否有更好方法？如果有，又该如pandascutqcut等，不需要编写代码，至于如何使用还是通过实例importnumpyasnpimportpandasasfrompandasimportDataFrameage字段进行离散化, ##划分为 ##对应为A,B,Cdf9['age_t']=pd.cut(df9['age'],level,labels=groups)##新增字段为age_t（表1信息pythonA1pythonB1SparkA1SparkB1HadoopA1HadoopC1这样的数据比较规范比较适合于一般的统计分析但如果想查看各种书（表2的对应关系A111B110C0011中书代码列2数据。如何实现行列的pandaspivot_tablepivot_table为例说明具体实现。importnumpyasnpimportpandasasfrompandasimport####转换后，出现一些NaN值或空值，可以把NaN修改为0附录查看查看DataFramedf_objDataFrame(DataFrame对象df_obj.head()#查看前几行的数据,5行df_obj.tail()#查看后几行的数