第1章数据科学家武器

第1章数据科学家 与数据 者共同成自我介ID-

讲师– –学习过程中有任何相关的问题都可以提到1、数据科学的基本概2、数理统计技3、数据挖掘的技术与方4、分类模型的评估方 数据科学的基本概 数据科学是一个发现和解释数据中的模式，并用于解决问题的过 客户编号

交易时间

交易易额类型

客户类型 策无 默 扰有 -低价值-沉默 发有-低价值-活跃不打扰无-低价值-活跃不打扰无-高价值-沉默发有-高价值-沉默促销有-高价值-活跃发无-高价值-活跃不打扰 数据科学的运用场景从未改

风 客智 智财 运智 智

库存管理 优数据科学家的角

1 交易时提示销售1 3342 策42

销 选销 选数据加

7

销售目标设

数据科学家的能力范数据管理标准化数据整合开収的数据获叏的多业务理解的敏基于分析工作角度基于分析工作角度对员工的三大分析数据探索洞见了解开収建模了解模型评估与验证模型结果与业务可解业务理解与模型选择匹配

领先大数据算法理解能无监督模型的认模型与业务结果一致性分建模步骤条理清晰熟悉开収建模体熟悉模型评估与验证能模型构建业务应用价数理统计技Numpy-数值计Pandas-数据处理Matplotlab-统计制 Echat、Hchart-数据可视Statemodels-统计预测变量

分类（二分

被预测变量

分类（二分列联表分析|卡方检

连续单个变多个变

数据挖掘/机器学

PysparkGraphframes-

预测预测模型分类模型（评分卡估计模型（回归（分类器Y-客观现权 强调精确N聚类模型（客户细分观的模式族现识别异常…推荐算法复杂网络时推荐算法复杂网络时间序列分类模型的数据挖掘方预测性——有监督的学习（Supervised分类模型常用分类算法丼

长…

…… 分类模型常用分类算法丼 规则1：IF IP在国外THEN规则2：IF芝麻分小于600THEN规则3：IF学历低于初中规则4： 规则

<中分类模型常用分类算法丼 入 负 比

资产-负债比（黄色代表违约的人

分类模型常用分类算法丼 logit收入 负债比

资产-负债比（黄色代表违约的人分类模型常用分类算法丼 收入-资产-负债比（粉色代表会违约的人摘自 /article-分类模型常用分类算法丼

装袋法提升 了基金(28%)的客户，还购买下列产品的可能性 0.1 0.2 0.3

0.4 0.5集合资产管理计

1.93

lift=2.26

2.13 存了固定收益 产品(39%)的客户，还购买下列产品的

1.56能性 0.1 0.2 0.3 0.4 0.5 0.6资产管理 产类银行 产品结构型 产品集合资产管理计

1.65

1.851.66

lift=1.87

1.82时间序 宜人贷将传统反 分类模型（评分卡（分类器体现权衡Y-客观强调精确分类模型（评分卡（分类器体现权衡Y-客观强调精确分类算法的模型评

8.31

11

分类算法的模预测类型统计量决策准确率/误分类利润/成本排序ROC指标(一致性Gini指数K-S统计量提升分类算法的模型评 打分值每给定一个阀值，就可以做出淆矩反应（预测未反应（预测合计真实果呈现信号（真 TrueB（漏报A+未呈现信（真实C（虚报FalseD（正确否定）C+合计A+B+A+B+C+正确率（精确度Precision、PV）特异度(Specificity；负例的覆盖率 (PV-)=分类算法的