金融数据模型分析技术-第一讲金融数据库ppt课件.ppt

金融数据分析技术 上海金融学院信息管理学院 金融数据库数据分析软件工具金融时间序列分析金融风险价值计算投资组合分析固定收益定价金融衍生产品的定价信用评分与行为评分 上海金融学院信息管理学院 初步掌握一些科学研究方法每章为一个专题五人一组 选择一个专题 在老师的指导下 通过上网收集资料 进行自学 写出读书报告 在课堂上报告 全班参加讨论 以小组为单位 每个小组交五个实验报告 最后每人交一篇研究报告 上海金融学院信息管理学院 参考书目 1 朱世武 严玉星 金融数据库 北京 清华大学出版社 2007年 2 朱世武 基于SAS系统的金融计算 北京 清华大学出版社 2004年 3 张树德 金融计算教程 MATLAB金融工具箱的应用 北京 清华大学出版社 2007年 4 邓留保 李柏年 杨桂元 Matlab与金融模型分析 合肥 合肥工业大学出版社 2007年 5 刘善存 Excel在金融模型分析中的应用 北京 人民邮电出版社 2004年 6 张世英 许启发 周红 金融时间序列分析 北京 清华大学出版社 2007年 上海金融学院信息管理学院 参考书目 7 美 蔡 Tsay R S 著 潘家柱译 金融时间序列分析 M 北京 机械工业出版社 2006 8 陈毅恒著 黄长全译 时间序列与金融数据分析 北京 中国统计出版社 2004年 9 王振龙 时间序列分析 北京 中国统计出版社 2000年 10 英 CormacButler著 于研等译 风险值概论 MasteringValueatRisk 上海 上海财经大学出版社 2002年 11 美 LynC Thomas等著 王晓蕾等译 信用评分及其应用 CreditScoringandItsApplications 北京 中国金融出版社 2006年 上海金融学院信息管理学院 国债9908自2002年5月8日至2008年8月6日的收盘价 上海金融学院信息管理学院 背景 1 BigData BigData专有名词技术热点大是一个相对概念数据库数据仓库数据集市大规模数据的问题MBGBTBPB大数据的大小基本都在PB级别 上海金融学院信息管理学院 BigData 近年来互联网 云计算 移动和物联网的迅猛发展 无所不在的移动设备 RFID 无线传感器每分每秒都在产生数据 数以亿计用户的互联网服务时时刻刻在产生巨量的交互 要处理的数据量实在是太大 增长太快了 而业务需求和竞争压力对数据处理的实时性 有效性又提出了更高要求 传统的常规技术手段根本无法应付 上海金融学院信息管理学院 BigData 在这种情况下 技术人员纷纷研发和采用了一批新技术 主要包括分布式缓存基于MPP的分布式数据库分布式文件系统各种NoSQL分布式存储方案等 上海金融学院信息管理学院 BigData 10年前 EricBrewer提出著名的CAP定理 指出 一个分布式系统不可能满足一致性 可用性和分区容忍性这三个需求 最多只能同时满足两个 系统的关注点不同 采用的策略也不一样 只有真正理解了系统的需求 才有可能利用好CAP定理 上海金融学院信息管理学院 CAP C Consistency一致性A Availability可用性 指的是快速获取数据 P ToleranceofnetworkPartition分区容忍性 分布式 上海金融学院信息管理学院 每PB的大数据都需要0 5Gbps的带宽以进行传输传统数据存储的费用是每GB5美元 而在同样容量下 Hadoop的成本是0 25美元 上海金融学院信息管理学院 数据信息知识智能智慧了如指掌掌控自如优化和谐一目了然 智慧地球 背景 2 智慧金融 上海金融学院信息管理学院 智慧地球 更透彻的感知 更全面的互联互通 更深入的智能化 智慧地球的远景目标 以一种更智慧的方法通过利用新一代信息技术来改变政府 公司和人们相互交互的方式 以便提高交互的明确性 效率 灵活性和响应速度 新一代信息技术 上海金融学院信息管理学院 更透彻的感知 它是指利用任何可以随时随地感知 测量 捕获和传递信息的设备 系统或流程 通过使用这些新设备 从人的血压到公司财务数据或城市交通状况等任何信息都可以被快速获取并进行分析 便于立即采取应对措施和进行长期规划 智慧地球 上海金融学院信息管理学院 更全面的互联互通 是指通过各种形式的高速的高带宽的通信网络工具 将个人电子设备 组织和政府信息系统中收集和储存的分散的信息及数据连接起来 进行交互和多方共享 从而更好地对环境和业务状况进行实时监控 从全局的角度分析形势并实时解决问题 使得工作和任务可以通过多方协作来得以远程完成 从而彻底地改变了整个世界的运作方式 智慧地球 上海金融学院信息管理学院 更深入的智能化 是指深入分析收集到的数据 以获取更加新颖 系统且全面的洞察来解决特定问题 这要求使用先进技术 如数据挖掘和分析工具 科学模型和功能强大的运算系统 来处理复杂的数据分析 汇总和计算 以便整合和分析海量的跨地域 跨行业和职能部门的数据和信息 并将特定的知识应用到特定行业 特定的场景 特定的解决方案中以更好地支持决策和行动 智慧地球 上海金融学院信息管理学院 上海金融学院信息管理学院 上海金融学院信息管理学院 云计算服务 上海金融学院信息管理学院 云计算服务 上海金融学院信息管理学院 智慧金融 上海金融学院信息管理学院 一 我国金融信息化的新阶段 陈静 中国人民银行科技司司长 国外金融信息化的四个阶段 1 脱机业务的处理2 联机业务的处理3 经营决策的信息化4 业务集成化和决策智能化 上海金融学院信息管理学院 第一阶段 1970 1980年 以计算机处理代替手工操作 第二阶段 80年代到90年代中 银行业务的联网处理 第三阶段 90年代中到90年代末 全国范围的银行计算机联网处理 第四阶段 从2000年开始 各行开始进行业务的集中处理 加快金融创新 逐步开拓网上金融服务 包括网上银行 网上支付等 我国金融信息化的四个阶段 上海金融学院信息管理学院 诺兰 Nolan 模型 上海金融学院信息管理学院 诺兰 Nolan 模型 米歇模型 Mische 上海金融学院信息管理学院 我国金融信息化的关键技术 一 大规模业务的实时处理技术 二 使用与金融行业的跨平台的网络互联技术 三 业务系统综合集成与多渠道整合技术 四 金融标准化技术 五 信息系统安全技术 六 知识管理技术 七 商业智能技术 上海金融学院信息管理学院 金融智能化 金融市场建模金融系统的模拟金融数据挖掘金融决策支持系统金融商务智能系统 上海金融学院信息管理学院 上海金融学院信息管理学院 二 金融信息化和智能化对金融信息人才的新要求 电子化 网络化计算机技术人才软件技术人才网络技术人才通信技术人才 信息化 智能化信息技术人才信息系统人才信息管理人才知识管理人才 金融业务与信息技术融合 技术保障 上海金融学院信息管理学院 背景 3 货币金融理论 上海金融学院信息管理学院 现代金融学 上海金融学院信息管理学院 金融机构管理的重要内容 市场风险 信用风险 资产与负债管理 绩效评估 数据与量化技术是基础 上海金融学院信息管理学院 1 金融数据库 1 1金融数据库概念金融数据库 就是运用金融理论和计算机数据库技术 将各种金融数据进行采集 加工整理 并按一定格式存储便于共享的金融数据集合 它常常与基于该数据库的查询检索 统计分析 模型建立 计算处理等信息技术支持和服务一起 构成金融数据库应用系统 形成金融信息服务平台 为金融投资 金融研究 金融教学等提供数据和相关服务 上海金融学院信息管理学院 1 1 1 金融数据库的起源对于金融机构的从业人员 金融数据是他们进行金融投资研究的必要基础 金融数学 金融统计学 金融工程学 计量金融学 实证金融等学科领域 金融数据是一个重要的基础 研究者只有收集到全面 准确和完整的数据 才能进行有意义的经济与金融研究 早期的实证研究者需要花费大量的时间自己进行数据收集整理 不仅影响了研究进度 而且常常因收集的数据不全面 也不一定准确 还会影响研究的结果 上海金融学院信息管理学院 1 1 1 金融数据库的起源另一个情况是 有很多金融数据 普通研究者和普通研究机构难于搜集到 甚至根本无法搜集到 使相关研究无法进行 由于对金融数据的需求越来越迫切 人们越来越注重对金融数据的收集 整理和共享 以便减少重复劳动 降低金融数据收集的成本 于是 专门提供金融数据库的公司出现了 这是社会分工的结果 金融数据库和金融信息服务平台作为一种产品和一种服务 逐渐被人们所接受 并且诞生了一个新兴行业 金融信息 数据 服务业 上海金融学院信息管理学院 1 1 1 金融数据库的起源金融信息服务业 对包括个人和企业数据在内的各种金融数据进行收集 汇总 标准化和发布 提供各种专业的数据定制服务 搭建适用于金融及相关行业的信息技术平台 提供解决方案 包括金融交易系统 清算结算系统 风险控制系统 信息管理系统 数据整合 分析和报告平台 数据挖掘 处理和分析平台 建立和维护投资监控平台等等 利用金融信息开展金融分析 资产定价和风险评估 在金融信息基础上设计金融产品和搭建金融模型 研究资产定量管理方法和金融产品量化交易策略 提供金融信息相关咨询和外包服务等 上海金融学院信息管理学院 1 1 2 金融数据库的作用 1 有效节约研究者的搜集数据 整理数据的时间 提高研究效率 2 降低研究者和研究机构数据获得成本 3 可以为研究者提供各种专业的数据定制服务 4 采用同一金融数据库有利于研究结果的比较 5 为金融学教学提供辅助工具 上海金融学院信息管理学院 1 1 3 金融数据库的分类 1 按金融数据库的内容和用途分行情咨询数据库 实时性 研究型数据库 标准化 2 按金融数据的种类分单一金融数据库综合金融数据库 上海金融学院信息管理学院 1 1 4 金融数据库的选择标准 评价和选择金融数据库的标准主要有 1 设计体系科学合理 2 数据内容完整准确 3 相关衍生指标计算正确 4 使用方便 服务完善 5 数据库结构稳定 6 数据更新及时 选择金融数据库时 还要考虑数据下载方式 对二次开发的支持 与研究和教学的适合度等 选择一个适合自己用途的金融数据库 上海金融学院信息管理学院 1 2国内外常用金融数据库简介 1 2 1 国外常用金融数据库芝加哥大学的CRSP数据库网址 标准普尔的Compustat数据库http 纽约交易所TAQ数据库美国罗德岛大学PACAPDatabaseshttp PACAP 上海金融学院信息管理学院 1 2国内外常用金融数据库简介 1 2 1 国外常用金融数据库路透社的Reuters网址 彭博通讯社的BloombergL P 宾夕法尼亚大学沃顿商学院的WRDS道 琼斯指数 DowJonesIndex 等 上海金融学院信息管理学院 1 数据采集 处理 国内常用金融数据库 新华08 北京大学CCERDatabases万得 Wind资讯 锐思数据 RESSET 世华财讯国泰安CSMAR系列研究数据库钱龙大智慧等 上海金融学院信息管理学院 大智慧 http 同花顺 指南针 http 东方财富网 http 金融界 http 和讯 http 第一财经 http 新浪财经搜狐财经 上海金融学院信息管理学院 新华08 使用简介 直接运行 C xinhua08 bin 路径下的 XHClient exe 文件 或者打开桌面上的新华08快捷图标即可打开登录界面 在以后的使用中直接点击桌面上的 新华08 输入用户名 密码就可以开始使用 新华08 软件 上海金融学院信息管理学院 上海金融学院信息管理学院 锐思数据 RESSETDB 使用简介 官方网站地址 进入RESSET主页用户就可以进行登录 未注册的用户可以进行注册或者匿名进入锐思数据用户名 shfc密码 shfc123 上海金融学院信息管理学院 RESSET公司概览 锐思数据RESSET Research Set RESSET产品 RESSET服务 RESSET DB金融研究数据库RESSET CAD教学辅助软件RESSET RS学术共享平台RESSET DBM数据集成检索系统RESSET BOND债券分析系统 售后技术支持网上实时答疑名师教学指导科研数据定制学科建设规划专家学术研讨项目合作开发数据集成整合 上海金融学院信息管理学院 RESSET DB数据检索主页 上海金融学院信息管理学院 RESSET DB数据字典查阅 数据样例 数据词典及数据记录数 上海金融学院信息管理学院 RESSET DB代码选择便捷 代码选择功能 上海金融学院信息管理学院 RESSET DB代码选择便捷 选择股票代码 上海金融学院信息管理学院 RESSET DB变量分类集中 变量分类 上海金融学院信息管理学院 RESSET DB输出格式多样 输出格式 上海金融学院信息管理学院 RESSET DB数据连续下载 获取连续结果文件 上海金融学院信息管理学院 RESSET DB中英双语对照 中英文全面对照 上海金融学院信息管理学院 RESSET DB保留变量格式 保留变量日期格式 上海金融学院信息管理学院 RESSET DB库表定位快捷 快速库表查询 上海金融学院信息管理学院 RESSET DB库表搜索技巧 搜索 上市日期 不如 上市日 上海金融学院信息管理学院 RESSET DB库表搜索技巧 上海金融学院信息管理学院 RESSET DB库表搜索技巧 搜索 总股本 总股数 不如 总股 上海金融学院信息管理学院 RESSET DB库表搜索技巧 上海金融学院信息管理学院 RESSET DB标识与信息子库 每一大库中都包含 标识与信息子库 如RESSET股票 标识与信息RESSET固定收益 标识与信息RESSET基金 标识与信息RESSET宏观 编码对照RESSET行业 编码对照RESSET外汇 主要货币信息RESSET黄金 黄金交易品种 上海金融学院信息管理学院 数据下载案例 RESSET股票 标识与信息 最新股票信息 查询第1步选择 日期范围 如图选择一日期对象 输入或点选起止日期查询 值为空时代表无时间限制点击 数据样例 数据词典 计算方法 查看相关信息 上海金融学院信息管理学院 数据下载案例 第2步选择 查询字段 代码选择 概念板块 三种方式选一 方式1选择 查询字段 即从下拉菜单中 选择要查询的字段 例如 股票代码 如下图所示手工输入单个股票代码 000001 如下图所示 上海金融学院信息管理学院 手工输入多个股票代码 000001000002600036600050 多个股票代码之间用空格分开 如图所示查询股票数量较多 手工输入不方便时 可上传一个包括多个股票代码的文本文件 每行一个股票代码 如图所示点击 浏览 按钮 添加要导入的文本文件即可 数据下载案例 上海金融学院信息管理学院 数据下载案例 Example txt的内容 查询字段选择 最新股票名称 手工输入股票名称 支持模糊查询 手工输入单个股票名称 天马 如图所示 000001000002600036000003000004000005000006000007 上海金融学院信息管理学院 数据下载案例 手工输入多个股票名称 天马万科深发展 如图所示方式2选择 代码选择 可根据股票的所属地区 交易所标识 股票类型 当前状态 所属行业等信息选择进行组合查询 也可直接输入股票代码或名称点击 代码列表 按钮 将得到如图所示界面 上海金融学院信息管理学院 数据下载案例 上海金融学院信息管理学院 数据下载案例 选择股票代码 如图所示 上海金融学院信息管理学院 数据下载案例 点击 确定 按钮 如图所示 或者直接输入股票信息查询 支持模糊查询 如图所示 上海金融学院信息管理学院 方式3选择 概念板块 点击 概念板块列表 按钮 如图所示 数据下载案例 上海金融学院信息管理学院 数据下载案例 选择相应板块的股票代码 如图所示 上海金融学院信息管理学院 数据下载案例 第3步附加查询条件 第2步用 代码选择 或 概念板块 方式时省略此步 选择 当前状态 如图所示选择 股票类型 如图所示 上海金融学院信息管理学院 数据下载案例 选择 当前状态 如图所示第4步选择输出字段 上海金融学院信息管理学院 数据下载案例 第5步输出设置输出设置包括 输出格式的选择 压缩格式的选择 下载行数的设置等 上海金融学院信息管理学院 数据下载案例 1 选择 Txt创建SAS数据集 sas7bda 点击 提交 按钮 如图所示点击 下载到本地 下载数据 然后点击 创建SAS数据集程序 下载程序注 选择输出格式 Txt创建SAS数据集 sas7bda 说明如下使用RESSET给出的导入SAS数据集程序前 请按要求创建下载数据存贮目录与SAS逻辑库1 创建下载数据存贮目录 D Res sas2 创建SAS逻辑库Res sas 创建方法如下图 上海金融学院信息管理学院 进入当前逻辑库页面 右键 新建 名称框中填Res sas 引擎选默认 选启动时启用 路径选D Res sas3 如果下载的是压缩文件 需要解压 并修改导入程序infile语句中的相关文件名和路径4 使用英文版SAS系统的用户 请选择 创建英文版SAS数据集程序 数据下载案例 上海金融学院信息管理学院 数据下载案例 在SAS编辑器中输入 创建SAS数据集程序 所提供的程序 运行程序 上海金融学院信息管理学院 数据下载案例 得到SAS数据集 上海金融学院信息管理学院 数据下载案例 2 选择 Excel电子表格 xls 点击 提交 按钮 如图所示点击 下载到本地 下载数据 然后点击 保存 如下图 上海金融学院信息管理学院 数据下载案例 打开保存后的数据 上海金融学院信息管理学院 数据下载案例 3 选择 Excel表格创建Sas数据集 sas7bda 点击 提交 按钮 如图所示 4 选择 空格分隔文本 txt 点击 提交 按钮 如图所示 上海金融学院信息管理学院 数据下载案例 5 选择 Tab键分隔文本 txt 点击 提交 按钮 如图所示 6 选择 逗号分隔文本 csv 点击 提交 按钮 如图所示 上海金融学院信息管理学院 数据下载案例 7 选择 Xml文件 xml 点击 提交 按钮 如图所示 8 选择 SPSS文件 sav 点击 提交 按钮 如图所示 上海金融学院信息管理学院 数据下载案例 9 选择 字符型Excel电子表格 xls 点击 提交 按钮 如图所示 10 选择 Html表格 html 点击 提交 按钮 如图所示 上海金融学院信息管理学院 RESSET DB数据下载注意事项 在 第3步选择输出字段 中 会对各字段进行分类 此时应勾选需要的字段 去掉多余字段 可以通过 全选 反选 来辅助完成 如图所示 上海金融学院信息管理学院 RESSET DB数据下载注意事项 RESSET DB将非金融行业与金融行业的财务数据分开提供 下载时请注意选择区分如下选项 合并标识 合并报表or母公司报表报表类型 Q1一季报orQ2中报orQ3三季报orQ4年报调整标识 原始报表or最新调整数据信息来源标识 Q1一季报orQ2中报orQ3三季报orQ4年报其它财务数据疑问见下载页面的 上海金融学院信息管理学院 RESSET DB数据下载注意事项 下载 RESSET行业 与 RESSET宏观 相关数据时 需注意在第1步 数据范围 时选择数据频率 如图所示在第2步查询条件中 需注意选择 统计期间编码 如图所示 上海金融学院信息管理学院 RESSET DB数据特色 内容全面指标丰富频度齐全数据准确提取方便 上海金融学院信息管理学院 RESSET DB特色 内容全面 股票 固定收益 基金 期货 黄金 外汇 宏观 行业及高频9大系列70多个库别 500多张表 15 000多个变量历史数据跨度完整股票库 1990年起基金库 1998年起宏观库 1950年起外汇库 1980年起期货库 1980年起高频库 2001年起 上海金融学院信息管理学院 RESSET DB特色 指标丰富 丰富基础指标股票财务指标 发债公司财务指标 基金财务指标 融资与分红 公司股东与股本 公司治理结构 公司重大事项 大量衍生指标持有期收益 风险因子 波动率 估值指标 三因子模型 期限结构 指标合并表股票综合数据 行情与分配表 债券信息 债券行情 上海金融学院信息管理学院 RESSET DB特色 频度齐全 年度数据季度数据上市公司财务报表 基金公司财务报表 发债公司财务报表月度数据宏观 行业统计数据日度数据股票 基金 固定收益 期货 外汇 黄金等行情数据高频数据股票 基金 权证 债券 回购 指数 上海金融学院信息管理学院 RESSET DB特色 数据准确 数据来源于各相关证券交易所 中国外汇交易中心 国家信息中心 国家统计局 多重比较与逻辑校验确保数据准确采用先进数据处理软件SAS提高数据