金融业与大数据价值创造知识准备和未来新发展

金融业与大数据价值创造知识准备和未来新发展大数据在金融业的重要应用实时量化投资分析实时文本挖掘经济金融危机实时预警经济实时动态指标构建银行信用评分卡未来机会1.大量行业需求:金融业,IT,医疗,地理信息系统等

2.阿里巴巴等公司云计算相关业务的高速增长

3.广东省大数据产业与人才需求缺口大数据与金融业:价值创造1.大数据技术为金融业提供适时交易数据的分析,从而发现数据中的重要含义2.大数据技术发现影响某特定行为的重要因素,例如我们可以用大数据来评估某股票的价格行为的主要驱动力.3.大数据技术帮助寻找相似股票和替代关系股票.例如相似股票统计套利的一个关键驱动力。股票潜在的替代品是投资组合经理和交易员在低流动性的条件下，可以找到一个替代实施一个快速交易的关键。4.文本挖掘技术提高金融服务质量,更高效率地发现金融欺诈.金融业大数据特点

金融业大数据“量”（volume)

金融业大数据“速度”(velocity)

金融业大数据“格式多样”(variety)

金融业大数据“准确性”（veracity)

金融业大数据“商业价值”(value)

金融业大数据典型应用１.目标客户定位

大数据有助于更好好理解消费者和他们行为偏好等。例如通过银行客户查询大数据资料获知客户未来行为，构建相关应用模型,适时推送相关业务业务，提高广告的响应效率，节约广告成本。金融业大数据典型应用２.理解优化商业过程

通过社交媒体，网络搜索趋势等运用文本挖掘方法发现金融服务业的重要关键问题，适时改善优化服务流程。金融业大数据典型应用３.优化智能选股，智能交易，找到我们最合适的匹配策略。交易员容易犯错误，而且容易忘记。但大数据技术可以大量收集相关知识，机器学习的应用，可以让交易策略更聪明。金融业大数据典型应用４.构建实时检测的违约模型,进行贷款定价。信用卡公司利用大数据检测欺诈交易.金融业大数据典型应用５.构建实时动态经济指标系统。通过社交媒体各种非结构化数据分析，网络搜索趋势构建实时动态的监测系统。金融业大数据分析知识基础1.重要软件：SAS,PYTHON

2.基础课程：机器学习，算法研究

3.重要大数据平台：HADOOP和SPARK金融业大数据分析知识基础1.重要软件：SAS,PYTHON

数据整合:SAS可以直接连接以下数据库：SQLORACLE,ACCESS等重要数据库，尤其是连接HADOOP，因为HADOOP现在是流行的大数据存储平台。而PYTHON则可以连接SPARK,SPARK是与HADOOP类似的大数据存储平台。金融业大数据分析知识基础1.重要软件：SAS,PYTHON

数据整合:网络爬虫是Python的传统强势领域，最流行的爬虫框架Scrapy、HTTP工具包urlib2、HTML解析工具BeautifulSoup、XML解析器等，都是能够独当一面的类库。这是网络大数据来源的重要方法.金融业大数据分析知识基础1.重要软件：SAS,PYTHON

模型建立:SASEM模块,PYTHON尤其擅长机器学习等的使用.PYTHON是机器学习的重要工具，许多机器学习书籍也是以PYTHON为程序语言。其中Scikit-learn和Milk实现很多机器学习算法，基于这两个库实现的Pylearn2，是深度学习领域的重要成员。scikit-learn是一个基于SciPy和Numpy的开源机器学习模块，包括分类、回归、聚类系列算法，主要算法有SVM、逻辑回归、朴素贝叶斯、Kmeans、DBSCAN等.金融业大数据分析知识基础1.重要软件：SAS,PYTHON

模型建立:PYTHON尤其擅长机器学习等的使用.NLTK(NaturalLanguageToolkit)是Python的自然语言处理模块，包括一系列的字符处理和语言统计模型。NLTK常用于学术研究和教学，应用的领域有语言学、认知科学、人工智能、信息检索、机器学习等。金融业大数据分析知识基础1.重要软件：SAS,PYTHON

模型建立:Shogun是一个开源的大规模机器学习工具箱。目前Shogun的机器学习功能分为几个部分：feature表示，feature预处理，核函数表示,核函数标准化，距离表示，分类器表示，聚类方法，分布，性能评价方法，回归方法，结构化输出学习器。PyBrain(Python-BasedReinforcementLearning,ArtificialIntelligenceandNeuralNetwork)是Python的一个机器学习模块，它的目标是为机器学习任务提供灵活、易应、强大的机器学习算法。PyBrain正如其名，包括神经网络、强化学习(及二者结合)、无监督学习、进化算法。金融业大数据分析知识基础1.重要软件：SAS,PYTHON

模型建立:SASEM模块,PYTHON尤其擅长机器学习等的使用.金融业大数据分析知识基础1.重要软件：SAS,PYTHON

模型建立:决策树(DecisionTree)回归(Regression)人工神经网络(NeuralNetwork)支持向量机(SVM)模型比較(ModelComparison)金融业大数据分析知识基础2.基础课程：机器学习是所有大数据研究的最基础的内容.机器学习致力于研究如何通过大量计算训练，利用已经有的知识改善模型的性能，确定最准确的“模型”，然后应用于新数据给出模型判断。金融业大数据分析知识基础2.基础课程：算法研究则是通过计算方法的改进,实现大数据计算效率的提高.算法的微小改进,因为大数据容量的累积影响,会给计算带来惊人的效率改进.搜索结果则是很好的例子.金融业大数据分析知识基础3.重要大数据平台：HADOOP和SPARK.对于大数据来说，最重要的还是对于数据的分析，从里面寻找有价值的数据帮助企业作出更好的商业决策。Hadoop是一个能够对大量数据进行分布式处理的软件框架。金融业大数据分析知识基础

3.重要大数据平台：HADOOP核心模块:HDFS:HADOOPDistributedFileSystemHADOOPYARN:工作安排和集群资源管理框架HADOOPMAPREDUCE:基于YARN的大数据并行处理.金融业大数据分析知识基础

3.重要大数据平台：HADOOP附属模块:PIG:数据分析平台HIVE:数据仓库平台Sqoop:使用JDBC导入关系型数据库到HADOOPZookeeper:HADOOP关联的小工具箱Mahout:HADOOP数据挖掘,尤其是推荐系统金融业大数据分析知识基础

3.重要大数据平台：HADOOP的优点：⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。金融业大数据分析知识基础

3.重要大数据平台：SAS与HADOOP交互工具工作内容模块FILENAME通过DATASTEP在HADOOP读写文件SAS基础PROCHADOOPSAS与HADOOP系统间的文件读写.执行HADOOP程序管理文件,执行MAPREDUCE和PIG程序SAS基础SQL传输提交HIVEql查询和其他HIVEq命令给HIVE处理,结果返回给SASSAS/ACCESSLIBNAME逻辑库将HIVE表转化为SAS格式,SAS/ACCESS将SAS程序转化为HIVEql,并在返回SAS前尽可能多地在HIVEql处理SAS/ACCESS金融业大数据分析知识基础

3.重要大数据平台：Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有Hadoop确良MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。金融业大数据分析知识基础3.重要大数据平台：Spark是在Scala语言中实现的，它将Scala用作其应用程序框架。与Hadoop不同，Spark和Scala能够紧密集成，其中的Scala可以像操作本地集合对象一样轻松地操作分布式数据集。金融业大数据分析知识基础3.重要大数据平台：SparkStreaming处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部分数据。一方面是因为Spark的低延迟执行引擎（100ms+），也可以用于实时计算，另一方面相比基于Record的其它处理框架（如Storm），一部分窄依赖的RDD数据集可以从源数据重新计算达到容错处理目的。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用场合。金融业大数据分析知识基础小结:SAS,PYTHON,SCALA,JAVA,机器学习,算法研究,SPARK基础,HADOOP基础.

PYTHONsas