Lecture 11-机器学习 III

1、Lecture 11-机器学习 III,By Diana,大纲,机器学习于量化交易中的应用III 1 Introduction to Clustering（介绍集群 聚类） Clustering theory（集群理论 聚类） Implementation to financial market（在金融领域的应用） 2. Neural network（神经网络） Introduction to artificial neural network（人工神经网络） Introduction to recurrent neural network（递归神经网络） 3. Unsupervised di

2、mensional reduction techniques（非监督降维技术） PCA Implementation to financial market （在金融领域的应用）,无监督学习,CV等失效,K-均值聚类,K-means算法是将样本聚类成k个簇（cluster），具体算法描述如下：,K-均值聚类,迭代收敛过程： k=2,收敛理论,Python 举例,Simulate 三个二维高斯分布，二维平面上均值 (7, 5), (8, 12), (1, 10), 协方差阵 cov = 0.5, 0, 0, 1.0, 2.0, 0, 0, 3.5, 3, 0, 0, 5, ,最优化K,Open-

3、High-Low-Close (OHLC),High/Open, Low/Open, Close/Open 三个维度,神经网络,神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。 让我们来看一个经典的神经网络。这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。,流程,设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定； 神经网络结构图中的拓扑与箭头代表着预测过程时数据的

4、流向，跟训练时的数据流有一定的区别； 结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。,神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。 下图是一个典型的神经元模型：包含有3个输入，1个输出，以及2个计算功能。 注意中间的箭头线。这些线称为“连接”。每个上有一个“权值”。,激活函数 h(z),概率激活函数,可扩展到正负无穷,门限模型,训练过程,在单层神经网络时，我们使用的激活函数是sgn函数。到了两层神经网络时，我

5、们使用的最多的是sigmoid函数。而到了多层神经网络时，通过一系列的研究发现，ReLU函数在训练多层神经网络时，更容易收敛，并且预测性能更好。因此，目前在深度学习中，最流行的非线性函数是ReLU函数。ReLU函数不是传统的非线性函数，而是分段线性函数。其表达式非常简单，就是y=max(x,0)。简而言之，在x大于0，输出就是输入，而在x小于0时，输出就保持为0。这种函数的设计启发来自于生物神经元对于激励的线性响应，以及当低于某个阈值后就不再响应的模拟。 在多层神经网络中，训练的主题仍然是优化和泛化。当使用足够强的计算芯片（例如GPU图形加速卡）时，梯度下降算法以及反向传播算法在多层神经网络中

6、的训练中仍然工作的很好。目前学术界主要的研究既在于开发新的算法，也在于对这两个算法进行不断的优化，例如，增加了一种带动量因子（momentum）的梯度下降算法。 在深度学习中，泛化技术变的比以往更加的重要。这主要是因为神经网络的层数增加了，参数也增加了，表示能力大幅度增强，很容易出现过拟合现象。因此正则化技术就显得十分重要。目前，Dropout技术，以及数据扩容（Data-Augmentation）技术是目前使用的最多的正则化技术。,神经元到神经网络,基础神经网络计算例子-向前反馈,RNN-循环神经网络,不同于传统的FNNs(Feed-forward Neural Networks，前向反馈神

7、经网络)，RNNs引入了定向循环，能够处理那些输入之间前后关联的问题。定向循环结构如下图所示：,RNNs的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNNs之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括

8、上一时刻隐藏层的输出。理论上，RNNs能够对任何长度的序列数据进行处理。但是在实践中，为了降低复杂性往往假设当前的状态只与前面的几个状态相关。,RNN-应用,PCA-主成分分析,主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA,与feature selection区别？,PCA的原理:基于小于投影距离,PCA的原理:基于最大投影方差,PCA算法的主要优点有： 1）仅仅需要以方差衡量信息量，不受数据集以外的因素影响。 2）各主成分之间正交，可消除原始数据成分间的相互影响的因素。 3）计算方法简单，主要运算是特征值分解，易于实现。 PCA算法的主要缺点有： 1）主成