scikit-learn学习笔记.doc

简介：2主要特点：2scikit-learn安装：（ubuntu版本14.04.1）2Classification21.监督学习21.1广义线性模型：21.2 支持向量机71.3 随机梯度下降81.4 最近邻91.5 Gaussian Processes131.6 Cross decomposition141.7 Naive Bayes141.8 Decision Trees151.9 Ensemble methods181.10 Multiclass and multilabel algorithms231.11 Feature selection241.14 Isotonic regression272.272.3 Clustering282.5 Decomposing signals in components (matrix factorization problems)303.Model selection and evaluation303.1 Cross-validation: evaluating estimator performance303.2 Grid Search: Searching for estimator parameters343.3 Pipeline: chaining estimators353.4 FeatureUnion: Combining feature extractors363.5. Model evaluation: quantifying the quality of predictions363.6. Model persistence373.7. Validation curves: plotting scores to evaluate models374.384.2 Preprocessing data384.4 Random Projection43简介：scikit-learn是一个用于机器学习的Python模块，建立在SciPy基础之上。主要特点：操作简单、高效的数据挖掘和数据分析无访问限制，在任何情况下可重新使用建立在NumPy、SciPy和matplotlib基础上使用商业开源协议-BSD许可证scikit-learn安装：（ubuntu版本14.04.1）安装依赖：sudoapt-getinstallbuild-essentialpython-devpython-numpypython-setuptoolspython-scipylibatlas-devlibatlas3-base python-matplotlib安装pipsudo apt-get install python-pip安装scikit-learnsudo pip install -U scikit-learn标准库Classification1.监督学习1.1广义线性模型：1.1.1普通最小二乘法：无偏估计的通过计算最小二乘的损失函数的最小值来求得参数得出模型通常用在观测有误差的情况，解决线性回归问题求实际观测值与预测值差的平方最小值数学公式：是由sklearn.linear_model模块中的LinearRegression类实现回归LinearRegression的构造方法：sklearn.linear_model.LinearRegression(fit_intercept=True #默认值为True，表示计算随机变量，False表示不计算随机变量 , normalize=False #默认值为False，表示在回归前是否对回归因子X进行归一化，True表示是 , copy_X=True)LinearRegression的属性有：coef_和intercept_。coef_存储到的值，与X的维数一致。intercept_存储的值。LinearRegression的常用方法有：decision_function(X) #返回X的预测值yfit(X,y,n_jobs) #拟合模型get_params(deep) #获取LinearRegression构造方法的参数信息predict(X) #求预测值 #同decision_functionscore(X,y,sample_weight) #计算公式为set_params(*params) #设置LinearRegression构造方法的参数值 参考示例：from sklearn import linear_modelX= 0, 0, 1, 1, 2, 2y = 0, 1, 2clf = linear_model.LinearRegression()clf.fit(X, y)print clf.coef_print ercept_print clf.predict(3, 3)print clf.decision_function(X)print clf.score(X, y)print clf.get_params()print clf.set_params(fit_intercept = False)普通最小二乘法的复杂性：假设影响因素x为一个n行p列的矩阵那么其算法复杂度为假设缺点：要求每个影响因素相互独立，否则会出现随机误差。回归用于解决预测值问题1.1.2 Ridge回归有偏估计的，回归系数更符合实际、更可靠，对病态数据的拟合要强于最小二乘数学公式：=0，越大，w值越趋于一致改良的最小二乘法，增加系数的平方和项和调整参数的积是由sklearn.linear_model模块中的Ridge类实现Ridge回归用于解决两类问题：一是样本少于变量个数，二是变量间存在共线性Ridge的构造方法：sklearn.linear_model.Ridge(alpha=1.0 #公式中的值，默认为1.0,fit_intercept=True,normalize=False,copy_X=True,max_iter=None #共轭梯度求解器的最大迭代次数,tol=0.001 #默认值0.001,solver=auto) #Ridge回归复杂性：同最小二乘法使用：from sklearn import linear_modelX= 0, 0, 1, 1, 2, 2y = 0, 1, 2clf = linear_model.Ridge(alpha = 0.1)clf.fit(X, y)print clf.coef_print ercept_print clf.predict(3, 3)print clf.decision_function(X)print clf.score(X, y)print clf.get_params()print clf.set_params(fit_intercept = False)调整参数设置（）：通过广义交叉验证的方式（RidgeCV）设置调整参数RidgeCV构造方法：sklearn.linear_model.RidgeCV(alphas=array( 0.1,1.,10. ),fit_intercept=True,normalize=False,scoring=None #交叉验证发生器,cv=None,gcv_mode=None ,store_cv_values=False)使用示例：from sklearn import linear_modelX= 0, 0, 1, 1, 2, 2y = 0, 1, 2clf = linear_model.RidgeCV(alpha = 0.1, 1.0, 10.0)clf.fit(X, y)print clf.coef_print ercept_print clf.predict(3, 3)print clf.decision_function(X)print clf.score(X, y)print clf.get_params()print clf.set_params(fit_intercept = False)1.1.3 Lasso数学公式：估计稀疏系数的线性模型适用于参数少的情况，因其产生稀疏矩阵，可用与特征提取实现类是Lasso，此类用于监督分类较好的解决回归分析中的多重共线性问题思想：在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化使用：clf = linear_model.Lasso(alpha = 0.1)设置调整参数（）：交叉验证：LassoCV（适用于高维数据集）或LassoLarsCV（适合于样本数据比观察数据小很多）基于模式选择的信息标准：LassoLarsIC（BIC/AIC）1.1.4 Elastic Net是一个使用L1和L2训练的线性模型，适合于在参数很少的情况下（如Lasso）并保持Ridge性能的情况，既是多种影响因素依赖与另外一种因素。继承Ridge的旋转稳定性。数学表达式：from sklearn.linear_model import ElasticNetenet = ElasticNet(alpha=alpha, l1_ratio=0.7)求取和的值使用ElasticNetCV1.1.5 Multi-task Lasso用于估计y值不是一元的回归问题用于估计联合多元回归问题的稀疏系数，y是一个2维矩阵（n_samples,n_tasks）。对于所有的回归问题，选的的因素必须相同，也叫tasks。使用：clf = linear_model.MultiTaskLasso(alpha=0.1)1.1.6 Least Angle Regression是一个计算高维数据的回归算法。实现类是sklearn.linear_model中的Lars类优点：当维数大于点数的时候在上下文中是有效的复杂度和最小二乘相同，但计算很快产生一个分片解决方案路径用于交叉验证或相似的调整模型方法如果两个变量响应相关，则会有相同的增长率很融合修改变成其他的评估方法缺点：噪声敏感使用：clf = linear_model.Lars(n_nonzero_coefs=1)1.1.7 LARS Lasso是一个使用LARS算法实现的lasso模型。使用：clf = linear_model.LassoLars(alpha=0.01)1.1.8 OMP（Orthogonal Matching Pursuit）通过固定的非零元素数得到最优解OMP基于贪心算法实现，每一步的原子项都与残余高度相关。使用：omp = OrthogonalMatchingPursuit(n_nonzero_coefs=n_nonzero_coefs)omp_cv = OrthogonalMatchingPursuitCV()1.1.9 贝叶斯回归（Bayesian Regression）可以再估计过程包含正则化参数，参数可以手动设置，用于估计概率回归问题优点：适用于手边数据可用于在估计过程中包含正规化参数缺点：耗时Bayesian Ridge Regression：BayesianRidge用于估计回归问题的概率模型 用法：clf = linear_model.BayesianRidge() By default ARD（Automatic Relevance Determination ）：类似于Bayesian Ridge Regression，但可产生稀疏的值 用法：clf = ARDRegression(compute_score=True)1.1.10 逻辑回归可以做概率预测，也可用于分类仅能用于线性问题通过计算真实值与预测值的概率，然后变换成损失函数，求损失函数最小值来计算模型参数从而得出模型使用：clf_l1_LR = LogisticRegression(C=C, penalty=l1, tol=0.01)clf_l2_LR = LogisticRegression(C=C, penalty=l2, tol=0.01)clf_l1_LR.fit(X, y)clf_l2_LR.fit(X, y)1.1.11 SGD（Stochastic Gradient Descent ）用于样本数据非常大的情况由SGDClassifier和SGDRegressor使用：clf = linear_model.SGDRegressor()clf = linear_model.SGDClassifier()对于SGDClassifier，当loss=”log”时拟合成一个逻辑回归模型，当loss=”hinge”时拟合成一个线性支持向量机1.1.12 Perceptron是另一个大规模学习的算法不需要学习率不是正则的只有错误的时候更新模型使用：同SGDClassifier1.1.13 Passive Aggressive Algorithms不要求学习率的时候同Perceptron，与Perceptron不同的是包含正则参数C使用：同SGDClassifier1.1.14 RANSAC（RANdom SAmple Consensus）是一个从完整数据集中的一个子集中健壮估计参数的迭代算法，是非确定性算法，此算法把数据分成很多子集，根据子集估计算法步骤：（1）从原始数据中选择最小的随机样本，并检查数据时候有效（is_data_valid）（2）根据（1）的随机子集拟合模型（base_estimator.fit），并检查模型是否有效（is_model_valid）（3）通过计算估计模型的方法来分类数据（4）如果临近样本数是最大的，并且当前的评估模型有同样的数则保存模型为最优模型。使用：model_ransac = linear_model.RANSACRegressor(linear_model.LinearRegression()1.1.15多项式回归机器学习中的常见模式，使用线性模型训练数据的非线性函数1.2 支持向量机拟合出来的模型为一个超平面解决与样本维数无关，适合做文本分类解决小样本、非线性、高维是用于分类、回归、孤立点检测的监督学习方法的集合。优点：有效的高维空间维数大于样本数的时候仍然有效在决策函数中使用训练函数的子集通用（支持不同的内核函数：线性、多项式、s型等）缺点：不适用于特征数远大于样本数的情况不直接提供概率估计接受稠密和稀疏的输入1.2.1 Classification由SVC、NuSVC或LinearSVC实现，可进行多类分类LinearSVC只支持线性分类SVC和NuSVC实现一对一，LinearSVC实现一对多使用：clf = svm.SVC()lin_clf = svm.LinearSVC()SVC、NuSVC和LinearSVC均无support_、support_vectors_和n_support_属性1.2.2 回归支持向量分类的方法也支持向量回归，有SVR和NuSVR，同分类一样，只是y向量需要是浮点数使用：clf = svm.SVR()1.2.3 Density estimation, novelty detection由OneClassSVM实现，是非监督学习，只需要一个X矩阵，没有类标签1.2.4 Complexityand 1.3 随机梯度下降应用于大量稀疏的机器学习问题，输入数据为稀疏的常用于文本分类和自然语言处理是处理大样本数据的非常有效的方法优点：高效易于实施缺点：需要一些调整参数对尺度特征敏感1.3.1 Classification使用SGDClassifier实现，拟合参数为Xn_samples,n_features和yN_samples可以实现多类分类，此时是通过多个binary分类实现实现方式是one-vs-all（OVA），每一个binary分类把其中一个分出来，剩下的作为一个。测试的时候计算每一个分类器的得分并选择得分最高的1.3.2 Regression由SGDRegressor实现1.3.3 复杂度X为(n,p)，则复杂度为1.4 最近邻无监督的最近邻是其他学习方法的基础，监督的近邻学习分为：分类（数据有离散标记）和回归（数据有连续标记）最近邻分类：计算待分类样本与训练样本中各个类的距离，求出距离最小的K紧邻是求出k个最小的，然后计算分别属于某一类的个数，选个数最大的类，若相等则选择跟训练集中的序列有关近邻分类：解决离散数据近邻回归：解决连续数据1.4.1 无监督的最近邻由NearestNeighbors实现，在sklearn.neighbors中，有三种算法：ball_tree（BallTree）、kd_tree（KDTree）、brute（brute-force）、auto（默认）from sklearn.neighbors import NearestNeighborssklearn.neighbors.NearestNeighbors(n_neighbors=5 #邻居数，默认为5 , radius=1.0 #参数空间范围,默认值为1.0 , algorithm=auto #用于计算最近邻的算法（ball_tree、kd_tree、brute、auto） , leaf_size=30 #传递给BallTree或KDTree叶大小 , metric=minkowski , p=2 , metric_params=None , *kwargs)使用：nbrs = NearestNeighbors(n_neighbors=2, algorithm=ball_tree).fit(X)distances, indices = nbrs.kneighbors(X) KDTree and BallTree使用：X = np.array(-1, -1, -2, -1, -3, -2, 1, 1, 2, 1, 3, 2)kdt = KDTree(X, leaf_size=30, metric=euclidean)kdt.query(X, k=2, return_distance=False) BallTree用法同KDTree 1.4.2 最近邻分类是基于实例的非泛华学习，有两种不同的最近邻分类：KNeighborsClassifier和RadiusNeighborsClassifier（非均匀采样时比较合适）KNeighborsClassifier：实现k近邻，k是一个用户输入的整数，k高度依赖与数据sklearn.neighbors.KNeighborsClassifier(n_neighbors=5 #邻居数，默认为5 , weights=uniform #用于预测的权重方法 , algorithm=auto #用于计算最近邻的算法（ball_tree、kd_tree、brute、auto） , leaf_size=30 #传递给BallTree或KDTree叶大小 , p=2 # , metric=minkowski #用于树的度量距离 , metric_params=None #度量参数 , *kwargs)使用：from sklearn.neighbors import KNeighborsClassifierneigh = KNeighborsClassifier(n_neighbors=3)neigh.fit(X, y)RadiusNeighborsClassifier：实现基于给定的半径r内的邻居数。用于不是均匀采样的数据，不适合高维参数空间的数据sklearn.neighbors.RadiusNeighborsClassifier(radius=1.0 , weights=uniform #参数空间范围 , algorithm=auto #用于计算最近邻的算法（ball_tree、kd_tree、brute、auto） , leaf_size=30 #传递给BallTree或KDTree叶大小 , p=2 , metric=minkowski #用于树的度量距离 , outlier_label=None #离散群体的标签 , metric_params=None #度量参数 , *kwargs)使用：from sklearn.neighbors import RadiusNeighborsClassifierneigh = RadiusNeighborsClassifier(radius=1.0)neigh.fit(X, y)1.4.3 近邻回归近邻回归用于标记数据是连续的情况，有两种不同的最近邻分类：KNeighborsRegressor和RadiusNeighborsRegressorKNeighborsRegressor：实现k近邻，k是一个用户输入的整数sklearn.neighbors.KNeighborsRegressor(n_neighbors=5 #邻居数，默认为5 , weights=uniform #用于预测的权重方法 , algorithm=auto #用于计算最近邻的算法（ball_tree、kd_tree、brute、auto） , leaf_size=30 #传递给BallTree或KDTree叶大小 , p=2 # , metric=minkowski #用于树的度量距离 , metric_params=None #度量参数 , *kwargs)使用：from sklearn.neighbors import KNeighborsRegressorneigh = KNeighborsRegressor(n_neighbors=3)neigh.fit(X, y)RadiusNeighborsRegressor：实现基于给定的半径r内的邻居数。sklearn.neighbors.RadiusNeighborsRegressor(radius=1.0 , weights=uniform #参数空间范围 , algorithm=auto #用于计算最近邻的算法（ball_tree、kd_tree、brute、auto） , leaf_size=30 #传递给BallTree或KDTree叶大小 , p=2 , metric=minkowski #用于树的度量距离 , outlier_label=None #离散群体的标签 , metric_params=None #度量参数 , *kwargs)使用：from sklearn.neighbors import RadiusNeighborsRegressorneigh = RadiusNeighborsRegressor(radius=1.0)neigh.fit(X, y)1.4.4 最近邻算法 Brute Force搜索时通过sklearn.neighbors中的algorithm参数设置为brute实现，计算是通过sklearn.metrics.pairwise此种方法计算效率低，D维空间的N个样本时间复杂度为 K-D Tree为了解决BruteForce计算效率低的问题，通过减少计算距离所需的数据实现，思想是：如果A距离B非常远，B距离C非常近，那么认为A与C距离非常远而不需要进行计算。相比于BruteForce，时间复杂度降低为，但高维数据空间效率低 BallTree解决K-DTree高维空间效率低的问题 最近邻算法选择N为样本数，D为维数，k表示邻居数当N=30的时候选择BruteForce比较合适数据集结构化的时候，选择K-D Tree或K-D Tree当k相当于与N来说变得非常大时选择BruteForce如果查询点数少时BruteForce leaf_size的影响1)影响构建树的时间，leaf_size越大，构建树时间越短2)影响查询时间，leaf_size最合适的值为303)影响内存，随着leaf_size的增大，存储内存减小1.4.5 Nearest Centroid Classifier构造方法：sklearn.neighbors.NearestCentroid(metric=euclidean , shrink_threshold=None)用法：X = np.array(-1, -1, -2, -1, -3, -2, 1, 1, 2, 1, 3, 2) y = np.array(1, 1, 1, 2, 2, 2)clf = NearestCentroid() clf.fit(X, y)1.5 Gaussian ProcessesGPML是一种监督学习方法，主要用于解决回归问题，已经扩展到概率分类，但目前的研究只是一个回归练习的后处理优点：预测插值观测预测是概率的，可以预测经验置信空间，改变预测值通用缺点：非离散高维空间效率低分类仅仅是一个后处理实现类是GaussianProcess构造方法：sklearn.gaussian_process.GaussianProcess(regr=constant #回归函数返回信息 , corr=squared_exponential #自相关信息 , beta0=None #回归权重向量 , storage_mode=full , verbose=False , theta0=0.1 , thetaL=None , thetaU=None , optimizer=fmin_cobyla , random_start=1 , normalize=True , nugget=2.2204460492503131e-15 , random_state=None)使用：import numpy as npfrom sklearn.gaussian_process import GaussianProcessX = np.array(1., 3., 5., 6., 7., 8.).Ty = (X * np.sin(X).ravel()gp = GaussianProcess(theta0=0.1, thetaL=.001, thetaU=1.)gp.fit(X, y) 1.6 Cross decomposition包括两类算法PLS和CCA，用于计算两个多变数据集的线性相关，需要拟合的多变集X和Y是2D数组当预测矩阵比实际数据有更多的变量时适合用PLS1.7 Naive BayesNaive Bayes方法是监督学习的集合基于假设每对特征之间都是独立的贝叶斯理论朴素贝叶斯方法是基于贝叶斯理论并假设每个特征都是独立的应用于文档分类和垃圾邮件过滤需要训练数据比较少朴素贝叶斯通过计算属于每个类的概率并取概率最大的类作为预测类naive Bayes is a decent classifier, but a bad estimator1.7.1 Gaussian Naive Bayes实现分类的是高斯贝叶斯算法是实现类GaussianNB构造方法：sklearn.naive_bayes.GaussianNBGaussianNB类构造方法无参数，属性值有：class_prior_ #每一个类的概率theta_ #每个类中各个特征的平均sigma_ #每个类中各个特征的方差示例： import numpy as npX = np.array(-1, -1, -2, -1, -3, -2, 1, 1, 2, 1, 3, 2)Y = np.array(1, 1, 1, 2, 2, 2)from sklearn.naive_bayes import GaussianNBclf = GaussianNB()clf.fit(X, Y)GaussianNB类无score方法1.7.2 Multinomial Naive Bayes用于文本分类用于处理多项离散数据集的Naive Bayes算法的类是Multinomial NB构造方法：sklearn.naive_bayes.MultinomialNB(alpha=1.0 #平滑参数 , fit_prior=True #学习类的先验概率 , class_prior=None) #类的先验概率示例： import numpy as npX = np.random.randint(5, size=(6, 100)y = np.array(1, 2, 3, 4, 5, 6)from sklearn.naive_bayes import MultinomialNBclf = MultinomialNB()clf.fit(X, y)1.7.3 Bernoulli Naive Bayes处理根据multivariate Bernoulli离散的训练和分类数据算法，实现类是BernoulliNB构造方法：sklearn.naive_bayes.BernoulliNB(alpha=1.0 #平滑参数 , binarize=0.0#样本特征阈值二值比 , fit_prior=True #学习类的先验概率 , class_prior=None) #类的先验概率示例：import numpy as npX = np.random.randint(2, size=(6, 100)Y = np.array(1, 2, 3, 4, 4, 5)from sklearn.naive_bayes import BernoulliNBclf = BernoulliNB()clf.fit(X, Y)1.8 Decision Trees是一个无参数的分类和回归的监督学习方法，目标是创建一个模型用于预测目标变量的值，通过学习从数据特征中推断出来的简单规则。优点：易于理解只需要很少的准备数据复杂度是数据点数的对数能够同时处理数值和分类数据能够处理多输出问题采用白盒模型使用统计测试可以验证模型即使假设有点错误也可以表现很好缺点：可以创建复杂树但不能很好的推广不稳定是NP问题有很难学习的概念如果一些类占主导地位创建的树就有偏差1.8.1 分类实现类是DecisionTreeClassifier，能够执行数据集的多类分类输入参数为两个数组Xn_samples,n_features和yn_samples,X为训练数据，y为训练数据的标记数据DecisionTreeClassifier构造方法为：sklearn.tree.DecisionTreeClassifier(criterion=gini , splitter=best , max_depth=None , min_samples_split=2 , min_samples_leaf=1 , max_features=None , random_state=None , min_density=None , compute_importances=None , max_leaf_nodes=None)DecisionTreeClassifier示例：from sklearn import treeX = 0, 0, 1, 1Y = 0, 1clf = tree.DecisionTreeClassifier()clf = clf.fit(X, Y)1.8.2 回归实现类是DecisionTreeRegressor，输入为X，y同上，y为浮点数DecisionTreeRegressor构造方法为：sklearn.tree.DecisionTreeRegressor(criterion=mse , splitter=best , max_depth=None , min_samples_split=2 , min_samples_leaf=1 , max_features=None , random_state=None , min_density=None , compute_importances=None , max_leaf_nodes=None)DecisionTreeRegressor示例：from sklearn import treeX = 0, 0, 2, 2y = 0.5, 2.5clf = tree.DecisionTreeRegressor()clf = clf.fit(X, y)clf.predict(1, 1)1.8.3 多输出问题实现类有：DecisionTreeClassifier和DecisionTreeRegressor.DecisionTreeClassifier构造方法：sklearn.tree.DecisionTreeClassifier(criterion=gini, splitter=best, max_depth=None, min_samples_split=2, min_samples_leaf=1, max_features=None, random_state=None, min_density=None, compute_importances=None, max_leaf_nodes=None)DecisionTreeClassifier示例：from sklearn.datasets import load_irisfrom sklearn.cross_validation import cross_val_scorefrom sklearn.tree import DecisionTreeClassifierclf = DecisionTreeClassifier(random_state=0)iris = load_iris()cross_val_score(clf, iris.data, iris.target, cv=10)DecisionTreeRegressor构造方法：sklearn.tree.DecisionTreeRegressor(criterion=mse, splitter=best, max_depth=None, min_samples_split=2, min_samples_leaf=1, max_features=None, random_state=None, min_density=None, compute_importances=None, max_leaf_nodes=None)DecisionTreeRegressor