《金融大数据分析》-课件 项目一 大数据与大数据金融认知

金融大数据分析项目一大数据与大数据金融认知目录01初识大数据02初识大数据金融03Python基础01初识大数据大数据的概念数据，本质上是对客观事物和客观现象的描述和统计，反映了客观世界的一些真实存在“巨大的数据量”大数据是指在一定时间范围内无法用传统数据库软件进行采集、存储、管理和分析的数据集或数据群，需要通过新的处理模式才能体现出的具有高效率、高价值、海量、多样化特点的信息资产大数据的来源社交媒体教育科研工业领域地理位置网络日志交通数据金融电商大型设备计算机技术的发展互联网的发展云计算技术的进步物联网、网络社交及智能终端的普及大数据的产生基础大数据的特征Volume(大体量）330-15th，欧洲所有手抄本书记约800册1439年印刷机发明，1453-1503的50年间，欧洲印刷的书籍就超过这个数目2013年，世界上存储的数据超过了1.2ZB，如果这些信息存储在光盘上，高度可以达到地球和月球之间距离的5倍全球每年产生的数据总量在2025年将达到175ZB，平均每天约产生491EB的数据大数据的特征产生原因：获取数据的能力大幅提高互联网的普及集成电路价格的降低1KB=1024B

1MB=1024KB1GB=1024MB1TB=1024GB1PB=1024TB1EB=1024PB1ZB=1024EBVolume(大体量）大数据的特征Variety(多样性）账号姓名开户行余额00001张三北京市通州区支行10000大数据：网页，图片，音频，视频等半结构化和非结构化数据传统数据：二维表形式的文本类结构化数据大数据的特征Variety(多样性）相对于结构化数据，非结构化数据是指没有结构的数据，无法用数据库的二维逻辑结构来表现，无法进行结构化处理的数据，具体包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。非结构化数据本质上是结构化数据之外的一切数据大数据的特征典型的人为生成的非结构化数据包括：•社交媒体：来自新浪微博、微信、QQ、Facebook等平台的数据。•网站：照片共享网站的数据。•移动数据：手机短信、位置轨迹等数据。•通信：聊天、即时消息、电话录音等数据。•媒体：MP3、数码照片、音频文件、视频文件。•业务应用程序：MicrosoftOffice文档等应用程序产生的数据。Variety(多样性）大数据的特征典型的机器生成的非结构化数据包括：•卫星图像：卫星监测到的天气数据、地形、军事活动等数据。•科学数据：石油和天然气勘探、空间勘探、地震图像、大气数据。•数字监控：监控设备产生的照片和视频数据。•传感器数据：交通、天气、海洋传感器采集产生的数据。Variety(多样性）大数据的特征半结构化数据是介于结构化数据和非结构化数据之间的数据，它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。相对于结构化数据“先有结构，再有数据”的特点，半结构化数据是先有数据，再有结构。半结构化数据通常表现为XML或HTML等形式。Variety(多样性）大数据的特征Velocity(时效性）在数据量特别大的情况下，也能做到数据的实时处理与分析。这也是大数据区别于传统数据挖掘最显著的特征。Veracity(准确性）保证处理结果具有一定的准确性大数据的特征Value(价值性）价值大价值密度低大数据的演化大数据的萌芽阶段（20世纪90年代-21世纪初）这个阶段的大数据主要是一种构想，其概念内涵逐渐丰富1997年第八届美国IEEE的会议论文集中首次使用了“大数据”的概念1998年《科学》刊登一篇名为“大数据的处理程序”的文章，明确使用了“BigData”一词大数据的演化大数据的发展阶段（21世纪初-2010年）21世纪初研究者已经开始关注大数据，论文中开始讨论大数据2003-2006年是大数据发展的突破阶段，Google发表了三篇重要论文，俗称“三架马车”：分布式系统GFS、大数据分布式计算框架MapReduce、NOSQL数据库系统BigTable;2006-2009年为大数据发展的成熟阶段，大数据技术并行运算与分布式系统基本形成2010年，智能手机日益广泛应用，移动数据量急剧增长大数据的演化大数据的兴盛阶段（2011年-至今）2012年《大数据时代》的宣传推广，大数据概念开始风靡全球2012年，奥巴马政府在白宫网站发布《大数据研究与发展倡议》，标志着大数据已经成为重要的时代特征2014年，“大数据”首次写入我国《政府工作报告》2015年，国务院正式印发《促进大数据发展行动纲要》，大数据从理论迈向实际应用大数据与传统数据的区别大数据传统数据产生方式自产生/采集人工采集存储方式高性能、高安全、高冗余的大数据存储系统传统数据库使用方式挖掘数据中的规律和知识从样本数据推断总体02初识大数据金融金融大数据VS大数据金融金融大数据从本质上来讲，金融大数据是应用于金融领域的一种大数据，属于大数据的一种行业应用分类。它包含了银行、保险公司、证券公司等金融机构、政府监管机关、机构和个人等各类经济主体在投资、融资、储蓄、理财、证券交易过程中的一切信息，这些信息的形式既可以是结构化数据、非结构化数据，也可以是半结构化数据。数据来源并不仅限于金融机构、金融市场和相关监管机构，它还包括各类跨行业大数据，如电商消费大数据、社交媒体大数据、公共事业部大数据等。金融中的大数据-经济数据指标国民经济总体指标国内生产总值（GDP）、社会消费品零售总额、固定资产投资进出口总额、工业增加值、采购经理人指数人口数、失业率、国际收支、财政收入和支出物价水平指标工业生产者出厂价格指数（PPI）、居民消费价格指数（CPI）、工业生产者购进价格指数（PPIRM）金融指标利率（存款利率、贷款利率、贴现率、同业拆借利率等）货币供应量指标（M0、M1、M2）社会融资规模、人民币存贷款余额、汇率、外汇储备金融中的大数据-金融行业特有指标证券业：指数市盈率、总市值、总成交额银行业：不良贷款率、拨备覆盖率、资本充足率保险业：保费收入、原保费收入、赔款及给付额、保险业资产总额大数据金融的产生背景技术革命与数据增长存储与计算技术的进步金融业的转型需求金融危机与监管压力消费者行为的变化基于这些背景因素，大数据金融不仅应运而生，而且迅速成为金融行业的创新前沿，为金融机构和消费者提供了更加智能、精准和高效的服务。大数据应用水平正在成为金融企业竞争力的核心要素。大数据金融的内涵大数据金融是指金融行业在其业务流程中，特别是在风险管理、资金配置、客户服务和投资决策等领域，采用大数据技术对大规模、多源、高频率的数据进行采集、存储、分析和解读，从而提炼出有价值的信息，进而辅助或自动化地做出决策的一种现代化金融活动。其核心是结合先进的数据处理与分析技术，从庞大的数据集中发现潜在的模式和关联，以提高金融服务的精度、效率和创新能力。网络化的呈现大量的金融产品和服务通过网络来展现，包括固定网络和移动网络01基于大数据的风险管理理念和工具基于数据挖掘的客户识别和分类将成为风险管理的主要手段，动态、实时的监测而非事后的回顾式评价将成为风险管理的常态性内容02信息不对称性大大降低金融产品和服务的消费者和提供者之间信息不对称程度大大降低03高效率性许多流程和动作都是在线上发起和完成，有些动作是自动实现的04产品的可控性、可受性风险可控、产品收益、流动性可接受05金融服务边界被扩展对于单个金融企业，可以扩大经营规模；金融从业人员个体服务对象会更多06普惠金融数字化服务对象和范围大大扩展，金融服务更接地气07大数据金融的特点大数据金融的层次大数据金融的架构重塑竞争格局的变化产业格局的变化监管体系的变化课堂练习请查找下列大数据公司的主要服务金融对象，以及服务内容，填入下表03Python基础Python与大数据金融为什么Python对金融如此有用？简单性和灵活性可以快速构建MVP工具和第三方库丰富多样非常适合金融行业的数据科学领域分析函数非常适合基于分析的职业为新兴的金融科技和加密需求提供工具Python与大数据金融Python在金融中的应用数据清洗和处理量化投资即时处理和流量控制风险管理金融工具开发数据科学和人工智能Python的起源Python的创始人为荷兰人吉多·范罗苏姆

（GuidovanRossum）。1989年圣诞节期间，在阿姆斯特丹，Guido为了打发圣诞节的无趣，决心开发一个新的脚本解释程序，于是有了Python.2021年10月，语言流行指数的编译器Tiobe将Python加冕为最受欢迎的编程语言Python的安装Python官网下载IDE：PyCharmAnacondaPython的运行命令行下的运行在线运行Python3在线工具|菜鸟工具()IDE内运行Python的基础语法—变量变量就是一种标识符，它是数据的名字。变量代表的数据不仅可以是数字，还可以是任意数据类型a=5,b=4.0,stu_name=‘张三’变量名命名规则：变量名只能包含字母、数字和下划线（_）变量名可以字母或下划线开头，但不能以数字开头;变量名不能包含空格，但可使用下划线来分隔其中的单词不要将Python关键字和函数名用作变量名，即不要使用Python保留用于特殊用途的单词，如print,if，where等message_11_messagemessage1Python的基础语法—保留字符Python的基础语法—赋值语句变量=Value等号(=)运算符左边是一个变量名，等号(=)运算符右边是存储在变量中的值必须在声明变量的同时，进行赋值Python的变量没有类型,变量的类型由赋值给变量的数据来决定对变量赋值时，即在内存中创建了对象可以把任意数据类型赋值给变量，同一个变量可以反复赋值，而且可以是不同类型的变量a=5b=4.0stu_name=‘张三’sum=a+bPython的基础语法—多个变量赋值Python支持同时为多个变量赋值。例如： a=b=c=1以上实例，创建一个整型对象，值为1，三个变量被分配到相同的内存空间上。也可以为多个对象指定多个变量。例如： a,b,c=1,2,"john"以上实例，两个整型对象1和2分别分配给变量a和b，字符串对象"john"分配给变量c。Python的基础语法—代码的缩进代码A代码B：

代码C

代码D代码EPython不像其他程序设计语言（如Java或者C言语）采取括号“{}”分隔代码块，而是采用代码缩进和冒号“：”区分代码之间的层次在Python中，对于类定义、函数定义、流程控制语句，以及异常处理语句等，行尾的冒号和下一行的缩进表示一个代码块的开始，而缩进结束，则表示一个代码块的结束Python的基础语法--多行语句Python语句中一般以新行作为语句的结束符。但是我们可以使用斜杠（\）将一行的语句分为多行显示，如下所示：total=item_one+\item_two+\item_threedays=['Monday','Tuesday','Wednesday','Thursday','Friday']语句中包含[],{}或()括号就不需要使用多行连接符。如下实例：Python的基础语法—注释python中单行注释采用#开头python中多行注释使用三个单引号

'''

或三个双引号

"""'''

这是多行注释，使用单引号。

这是多行注释，使用单引号。

这是多行注释，使用单引号。

'''

"""

这是多行注释，使用双引号。

这是多行注释，使用双引号。

这是多行注释，使用双引号。

"""#第一个注释print("Hello,Python!")#第二个注释Python的基础语法—运算符Python语言支持以下类型的运算符:算术运算符比较（关系）运算符赋值运算符逻辑运算符位运算符成员运算符身份运算符Python的基础语法—运算符—算数运算符运算符描述实例+加-两个对象相加a+b输出结果30-减-得到负数或是一个数减去另一个数a-b输出结果-10*乘-两个数相乘或是返回一个被重复若干次的字符串a*b输出结果200/除-x除以yb/a输出结果2%取模-返回除法的余数b%a输出结果0**幂-返回x的y次幂a**b为10的20次方，输出结果100000000000000000000a=10b=20Python的基础语法—运算符—比较运算符运算符描述实例==等于-比较对象是否相等(a==b)返回False。!=不等于-比较两个对象是否不相等(a!=b)返回True。>大于-返回x是否大于y(a>b)返回False。<小于-返回x是否小于y。所有比较运算符返回1表示真，返回0表示假。这分别与特殊的变量True和False等价。(a<b)返回True。>=大于等于-返回x是否大于等于y。(a>=b)返回False。<=小于等于-返回x是否小于等于y。(a<=b)返回True。a=10b=20Python的基础语法—运算符—赋值运算符运算符描述实例=简单的赋值运算符c=a+b将a+b的运算结果赋值为c+=加法赋值运算符c+=a等效于c=c+a-=减法赋值运算符c-=a等效于c=c-a*=乘法赋值运算符c*=a等效于c=c*a/=除法赋值运算符c/=a等效于c=c/a%=取模赋值运算符c%=a等效于c=c%a**=幂赋值运算符c**=a等效于c=c**aPython的基础语法—运算符—逻辑运算符运算符逻辑表达式描述实例andxandy布尔"与"-如果x为False，xandy返回False，否则它返回y的计算值。(aandb)返回20。orxory布尔"或"-如果x是非0，它返回x的计