金融统计与金融数据挖掘

第二章金融数据挖掘与金融统计分析,2020/5/20,1,授课日期：*年*月*日讲授单位：*大学*学院主讲教师：*,金融数据生产、分类与公布系统金融数据挖掘原理与技术方法金融数据处理与统计分析货币状况指数的编制实验,2020/5/20,2,本讲内容,（一）金融数据的生产1.宏观金融经济数据的生产一国的统计系统是生产宏观经济数据的主要部门，国民经济核算体系（SystemofNationalAccount，缩写为SNA）是国家宏观经济数据的生产体系。国家统计局、中国人民银行、财政部等部门是我国宏观金融经济数据的生产编制机构。标准：IMF2000年公布了货币与金融统计手册，2001年公布了修订后的政府财政统计手册2009年发布了修订后国际收支与国际投资头寸统计手册第六版（BPM6）,2020/5/20,3,一、金融数据生产、分类与公布系统,2.微观金融经济数据的生产机构单位、工商企业、金融企业、居民个人等的金融经济活动数据生产过程是分散化的，也基本没有统一的标准，没有专门的机构进行统计，无公开发布。专业调查研究形成部分数据，而零散的研究难以形成数据体系。微观金融经济数据对于宏观政策决策具有基础性参照价值，这些数据的规范依然是金融经济数据生产、公布体系需要努力的方向。*,2020/5/20,4,一、金融数据生产、分类与公布系统,（二）金融数据的分类1.从宏观金融与微观金融角度进行数据分类宏观金融数据是从中央银行、金融监管机构的视角进行统计监测生成的数据，主要包括货币类数据、金融投资类数据、保险经营类数据等。微观金融数据是金融市场上单个经济主体的数据，如上市公司的资产负债表，保险公司资产负债表等，投资项目的金融数据等。*,2020/5/20,5,一、金融数据生产、分类与公布系统,2.从金融机构类别进行数据分类银行类金融机构数据是针对银行性质的金融机构业务状况进行的统计数据。证券类机构的金融数据主要是证券公司、投资银行的经营数据，包括经纪业务、自营业务、投资银行业务等数据。基金类机构的金融数据只要是各类基金公司的业务运作数据，包括风险投资基金、产业基金、资本市场基金、货币市场基金、社会保障类基金等业务运作数据。保险类机构的金融数据包括财产性保险公司、人寿类保险公司、再保险公司等商业性保险业务运作数据，如保险费收入、赔付，基金投资组合、资产管理状况等数据。期货类机构的金融数据主要是期货交易所、期货经纪公司、非经纪类期货交易机构的有关期货交易业务的统计数据。,2020/5/20,6,一、金融数据生产、分类与公布系统,3.从金融市场角度进行数据分类货币市场数据包括货币市场交易工具的发行、二级交易规模、利率、交易投资者状况等。资本市场数据包括市场的发行、交易规模、交易价格水平等。外汇市场数据包括不同货币之间的兑换比价、外汇交易规模等数据。黄金市场数据包括黄金交易数量、价格等数据。保险市场数据包括保险产品类型及交易数额、保险费收入、保费赔付、保险机构业务运作情况等。衍生品市场数据包括期货、期权、互换、远期利率协议，以及复杂衍生工具的交易、持仓、价格等数据。,2020/5/20,7,一、金融数据生产、分类与公布系统,4.从经济部门角度进行数据分类住户部门金融数据包括储蓄存款、贷款，股票、基金与债券投资，购买保险，外汇与黄金交易等非金融企业部门金融数据包括存款、贷款、发行股票与债券、购买商业保险等。政府部门金融数据包括为财政赤字进行的融资发行的国债、借款，地方政府投资项目的融资，社会保障基金运作等。金融机构部门金融数据包括资产类、负债类、发行和交易类、价格类数据。国外部门金融数据包括外商直接投资、国内企业对外直接投资、外国证券投资、国内对外证券投资、与贸易投资有关的贷款、货币、存款资金的跨境转移等。,2020/5/20,8,一、金融数据生产、分类与公布系统,5.从融资方式角度进行数据分类间接融资统计数据主要是信贷规模数据，信贷形式和信贷结构。直接融资统计数据主要包括发行股票、债券、基金等直接融资工具的规模，以及金融工具市场交易数量、价格等数据。,2020/5/20,9,一、金融数据生产、分类与公布系统,（三）金融数据的公布系统1.数据公布标准：SDDS与GDDSSDDS是数据公布特殊标准（SpecialDataDisseminationStandard）的英文缩写，适用于已经参与国际金融市场的大多数工业化国家和一些新兴市场经济国家，1996年3月公布。GDDS是数据公布通用系统（GeneralDataDisseminationSystem）的英文缩写，适用于尚未达到SDDS要求的国家，大部分为发展中国家*，1997年12月公布。,2020/5/20,10,一、金融数据生产、分类与公布系统,2.SDDS与GDDS的区别适用国家不同宏观部门划分不同：GDDS有社会人口部门发布数据差异：综合统计框架，跟踪性数据种类，与部门相关的统计指标，社会人口数据鼓励公布的指标“视相关程度”而定的指标数据公布的及时性与频率,2020/5/20,11,一、金融数据生产、分类与公布系统,SDDS与GDDS的区别,2020/5/20,12,一、金融数据生产、分类与公布系统,3.中国的数据公布系统我国于2002年4月15日正式加入了GDDS国家统计局负责统计核算和公布国民经济实际部门的指标和数据财政部负责统计并公布财政部门的指标和数据中国人民银行负责统计并公布金融部门的指标和数据国家外汇管理局、海关总署负责统计和公布国外部门的指标和数据,2020/5/20,导论,13,一、金融数据生产、分类与公布系统,（一）金融数据挖掘的基本原理1.概念:金融数据挖掘（datamininginfinance）金融行为的选择者从大量的、不完全的、存在噪声的、模糊的、随机生成的金融数据中，搜索、发现、提取隐含在数据内部的、尚未被他人所知的、对决策具有潜在价值的信息或知识的过程。,2020/5/20,14,二、金融数据挖掘原理与技术方法,2.原理:发现存在于数据中的模式和趋势掌握金融领域的基本知识和金融行为决策的目标依据金融行为选择目标，选定要解决的问题和适合的金融数据集对原始数据进行预处理将数据集中的数据转换成适合挖掘的形式确定合适的数据挖掘方法数据挖掘过程分析解释数据应用,2020/5/20,15,二、金融数据挖掘原理与技术方法,2020/5/20,16,二、金融数据挖掘原理与技术方法,金融数据挖掘原理图示,（二）金融数据挖掘的主要任务关联分析：变量之间的数值存在的规律性聚类：将数据库中的数据按照一定的规则划分为一系列有意义的子集的过程分类：找出一个类别的内涵或特征，能够代表该类数据的整体信息估计：数据挖掘中确定一个未知输出值预测：利用历史数据发现未来输出结果的过程异常检测：对数据中存在异常情况加以发现、甄别的过程，找出观察数据与参照标准之间的差异，更好地为模型预测分析服务发现时序模式：在时间序列中找到重复发生概率比较高的模式，强调时间的影响,2020/5/20,17,二、金融数据挖掘原理与技术方法,（三）金融数据挖掘的统计技术方法1.描述统计分析集中趋势分析:平均数、中位数、众数离中趋势分析:极差、标准差、方差、最大值、最小值、偏度、峰度、偏度系数、峰度系数统计图形分析:直方图、茎叶图、箱线图等对观察数据进行直观描述2.相关分析相关表相关图相关系数,2020/5/20,18,二、金融数据挖掘原理与技术方法,3.差异分析从样本统计量的值得出差异，来确定总体参数之间是否存在差异4.回归分析简单线性回归多元回归虚拟变量5.聚类分析通过分析事物的内在特点和规律，根据相似性原则对事物进行分组适用于没有先验知识的分类，如没有理论指引，没有国际标准、国内标准或行业标准,2020/5/20,19,二、金融数据挖掘原理与技术方法,6.判别分析在已知的分类下，遇到有新的样本时，利用已经选定的判别标准，判定如何将新样本放置于哪个族群中。它是一种预测导向型的统计方法，用于事后分析7.时间序列分析平稳随机序列的统计分析，在理论上的发展比较成熟，是时间序列分析的基础谱分析也称频域分析，因为一个时间序列可看成各种周期扰动的叠加，频域分析就是确定各周期的振动能量的分配,2020/5/20,20,二、金融数据挖掘原理与技术方法,（一）金融基础数据的处理与显示1.统计整理依照研究目标对收集或调查获得的数据进行科学的分类、汇总，使其达到系统化、规范化，进而可以从数据中得出所研究对象的必要信息、基本特征、规律和趋势等统计整理的结果一般是数据库表格，或者是统计表，在此基础上绘制统计图形2.建立数据文件3.绘制基本统计图形*,2020/5/20,21,三、金融数据处理与统计分析基础,基本统计图形:条形图、线形图、面积图、饼图、高低点图、帕雷托图、控制图、盒形图、散点图、直方图等,2020/5/20,22,三、金融数据处理与统计分析基础,（二）金融数据的描述性统计分析1、集中趋势的测量算术平均数:调和平均数:几何平均数:众数:一组数据中出现次数最多的变量数值，一组数据可以有多个众数，也可以没有众数中位数:指将数据按大小顺序排列起来，形成一个数列，居于数列中间位置的那个数据。截尾均值:去掉两端的极值后所计算的算术平均数*,2020/5/20,23,三、金融数据处理与统计分析基础,2.离中趋势的测量全距,极差，是最大值与最小值之间的差距四分位差，总体数量标志值数列中各四分位数离差的平均数异众比率，也称离异比率或变差比，是指非众数组的频数占总频数的比率。方差和标准差:变异系数反映的是标准差相对于均值的离散程度,2020/5/20,24,三、金融数据处理与统计分析基础,3频率分布及特征的测量正态分布标准分值偏度系数:偏度系数sk如果小于零，表示负偏（左偏），如果大于零，表示正偏（右偏），等于零，表示分布对称峰度系数:峰度系数ku如果小于零，表示频数分布曲线为平阔峰，如果大于零，表示频数分布曲线为尖峭峰，等于零表示曲线为正态峰,2020/5/20,25,三、金融数据处理与统计分析基础,（三）金融数据的均值比较分析、因子分析与主成分分析1、均值比较分析假设检验（卡方）检验单均值假设,2020/5/20,26,三、金融数据处理与统计分析基础,2.因子分析是将多个实测变量转换为少数几个不相关的综合指标的多元统计方法，目的是定义数据矩阵的基本结构。因子分析的步骤:确定主因子,对因子解释和命名3.主成分分析,是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量,2020/5/20,27,三、金融数据处理与统计分析基础,一、实验类型创新型实验。本实验主要是设计中国货币供状况指数编制中的指标筛选、数据挖掘、处理、合成与分析基本方法与实验试算过程。二、实验目的通过实验教学，使实验者掌握金融指标的选择、指标数据的收集、处理等方法，未被观测的金融指标如何生成方法和现实意义。,2020/5/20,28,实验项目：货币状况指数MCI的编制,三、实验背景中国货币政策运行的监测指标如货币供应量等不太理想，难以准确反映货币政策效果，而社会融资总量指标不能全面反映货币政策状况。需要从未被观测的金融指标中寻找合适的指标。货币状况指数MCI是其中可以实践探索的指标。,2020/5/20,29,实验项目：货币状况指数MCI的编制,四、实验环境数据处理软件工具：微软EXCEL工作表；SPSS数据基础：中国人民银行网站、中国货币网、WIND数据比较：需要全面完善,2020/5/20,30,实验项目：货币状况指数MCI的编制,五、实验原理货币状况指数原理指标：利率、汇率、货币量、信贷量指数类型：名义货币状况指数、实际货币状况指数意义：反映货币政策运行效果，指数值变大，货币政策紧缩，反之，货币政策放松,2020/5/20,31,实验项目：货币状况指数MCI的编制,六、实验步骤第一步：纳入指数指标的选择第二步，从有关数据库收集指标数据第三步，建立指标数据挖掘EXCEL文件并进行预处理第四步，转化为