深度学习基础知识整理

1、深度学习根底知识整理Withoutdeviationfromthenorm,progressisnotpossible不偏离常规,就无法取得进步-FrankZappa选择哪个深度学习框架鬟手习框柒*机构教程将可利用资源P.nr0rge应加心丁坨0r珂isandearningLanguagesa-.-ramewtrfks伯tra,Wgmaler,als卷浮箱蛰网络建模水平CNNmodelirigcapability需环神经网络建模水平RNNmodeling的时嘀以果构；易用度及前端Arctiilecture;easy-to-useandmodularfrontend执行效率Speed部署的便利性

2、Install&Port多GPU运算支特MultipleGPUsupportPythonC+T&nsorFI&w八GOGoogle详尽的文档,容易被初学者理解和实很好的CNN建现.TFLeam中根模水平,易于崖立多使用InceptionV3模TensarFlow妁型RNN例如使用皿kglkig可以比拟高效地实现ENN直观而模块化的架得藉鬻方产品期的高质量代码盟鬻噩训却蚓使其在大多数蠹翔/盛"舱中具有竟争力debug和首控弃格性,能够全面地支持各种硬件和榛作系统,支持We和AMD的CPU：通过CUM支持NVIDIA的GPU;通过.gnCL麦持AM口的GPU,但没

3、CU口四成熟;支持Linux、Mac和Window占;燧够基干ARM架构编译利优化.TensorFlowServing可让力境好的模型快捷方孽地就人到实际生产环境原生支持的分布式深度学引可以很好支持多GPU运算CaffePythonC+BerkeleyVisionandLearningCwiler;贾抵消安装和配置是一个对时间序列RNN、L&TM等支持得不比拟让人头痛的问支持非常好,很好是将别充分疆于题;在文档上也程时比拟痛苦,不过正在改善的CNN建模水平L自yer的模式也对假设要大量工作才能创立一个新层,在横型结构非常复杂时可能需要写非常完KNN不是芈常友好,长的配置文件才能定义RN

4、M建构时比设计好网络,而且唧稍落后于GsnsorFlow；程序运行非常稳定,代码质量高较麻烦读时也较协力在GPUL练习的性能很好.底层基于C+的,因此可以在各种硬件但是目前很支持单机多环境编译并具有良好的移植性,支持GPU的练习.不原生支持分Linux.Mac和Window生也可收编译布式的训炼：不过通过:罪部署到Andmid和心S卜:沱计算机视三方如Cw除CtnSpark借觉领域应用尤其氧常用于人脸识别、助Spa由的分布式框架可图片分类、位置检潴、目标追踪等实现C自施的国规模分布式练习CNTKC+Microsoft少见新手班资料支持各种前信网翳包括MLP.CNN、RNN.LSTMSequer

5、tce-to-Sequence.也支特自动求解梯度TorchLuaFacebooli详尽的文档,容易被初学者理解和实现很好的CNN建模水平,丰富的CNN更源,包括易干使用的时间卷织集MXNetPythonC+RDistritauledMachineLearning详尽的文档,客易Ctmmmil上被初学者理睇和李沐,实现AWW官方推荐很好的CNN建模水平Th&snoPython蒙特利尔大学UsaLabPython深度学可摩的基石,派生出了大量基于它的4度学习库;高质量文档和教程,同对CMN的支持很好感强的CNN建模水平时可以方便地查找到各种FAQ丰富的RNN救程和项构建模型拥有产品期的代

6、码性能易尚设计.在CPU、单GPU、名GPU,以及GPU集群上都有非常优异的表质；在语音识别软现;最近推出的14>it域的使用尤其广泛cdnipcessKHi技术降低了通信代价,使大业模并行训某也拥有很高的效率原生支持多GPU和分布式,基于C+并且聘平台,大局部情况下部从官网企布的比照评测来署非常茕单,PC上支持Linux、M融和看.性钱非常不错;在多Windows,但目前不支持ARM架构一GPU方面,CNTK相对干限制了在移动设备上的发挥箕他的深度坐习奉梨表现得更突出Ker靛PythonfchollelLaugnePythonLasagneNervanaNeonPythofiSyste

7、msimtei收购丰富的RNN教程河为梢隹模型想多直现而模块化的架第三方的扩展支持构.开发相对简单RNNWTensorFlow样使R底层C+加二且右开海粪孑匚袖4SGH层脚本l语言调用的方式1只不过RrchKSSmSIE使用的是5支制MMs还支君虐川",最正确性持各种嵌入式礴iOS.And加FPGA等,不过运行时必须有UumJlT的环境,工业生产环境的使用相对较少GPU上苣计算优先,支持复杂神鲤网络的拓扑图结构.再并行化到CPU和GPU上较好的CNN建模水平它的符号计算入PI支恃循环限制,让RNN的实现篇简单并且高性能育观而模块化的架构.开发相对简单在调忒时输出的错误信息非常理以看H

8、.DEBUG非常痛苫上层的计算图优化算在并个框架中率先支持多法可以让符号计算执支持非常多的语言封装寸*+、Pyttion行得非常快,且节热内R、Julia.Scala,Go、MAR朋和黑Y鲁猊言嚷*-存湖建一个网络需要MvaScript.同时可忸在AM箱汨、i0S溪*嗨嗑舞楚+的时间可能比小丽上运行基于深度学习的囤像识别等任Tor曲长但比直接用务鬻鬻然多1GPUTh3附快甄分布式集群稍箫后干TensorFlow;支持Linux、Mac和Wind口阳I但是没在定义新网络结构时.有底层C+接口都.罟摸型十分不方便通常需要长盹间的编不支持理珅移动设备洋ITieano的上片史度封装.崇尚极笥、息度嗅块

9、化的神经网络框架可以殖电切换执行计算的后队目前同时支持Theam和TensorFkw;组件全是可插拨的模块,比拟适合在探索阶段快速尝试各种网络结构,这让醺而3非常适合前沿价究尊术界的最爱之一只在QpenCL和丁健加.S己的自即自my应上支持空GPUUI陈;目前没有分右式实现;在单GPU上抗行效率不错.但是鹄要将Python代码转换成CUDA代码,再编译为二进制可执行文件,编译复杂模型的时间久目前无法直接使用多GPU,大规模数据处理速度没有其他支持多GPU和分布式的框架快同样是Th的no的上层封装,设计的原区是简洁、选用、模块胆、实用、聚焦和专注;Karas隐藏了Th葩no中所有的方法和对象,而

10、Lm&ggrw那么是借用了Theamj中很多的类茸是介于基贴的仙曲m却高度抽象灼熊之间的轻度封装对神经网筋的每一厩定义都非常严凰支持前馈相经网络如CNN.RNN、LSTM等而及它们的朝合;同时支持许多优业方法如Ne31ee¥lYiome血m.RMSpcnp.ADAW等.学术界的最要之二少见新手期资料;同样具有开源卷积箱经网络基准洌试的最正确性能;未来可能与GPU无关了,建谀美注Intel今才推出的专用深度学习CPU第一课：数学分析与概率论Taylor展式及其应用、凸函数、jensen不等式、常见分布与共辗分布第二课：数理统计与参数估计Chebyshev不等式、大数定理、小数定

11、理、中央极值定理、矩阵计算、最大似然估计第三课:矩阵和线性代数从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程第四课：凸优化凸函数、共辗函数、凸优化、Lagrange对偶函数第五课：回归高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系应用方向：线性回归、Logistic回归实现和分析第六课：梯度下降与拟牛顿法梯度下降算法、自适应学习率、拟牛顿、LBFGS应用方向：自适应学习率代码实现和参数调试分析第七课：最大嫡模型嫡、相对嫡、信息增益、最大嫡模型、Softmax回归应用方向：独立成分分析ICA求解盲源别离BBS问题第八课：决策树和随机森林蒙特卡罗ID3、C4.5、CART

12、Bagging研究方向：使用随机森林进行数据分类蒙特卡洛第九课：SVM线性可分支持向量机、软间隔、核函数、SMO研究方向：使用SVM进行数据分类第十课：聚类K-means/K-Medoids、密度聚类、谱聚类、应用方向：K-mean$谱聚类代码实现和参数调试分析第十一课：推荐系统相似度量方案、协同过滤User-based/ltem-based、PCA/SVD、随机游走应用方向：协同过滤用于商品推荐、SVD隐变量的推荐第十二课：提升梯度提升决策树GBDT、Adaboost、前向分步算法应用方向：Adaboost与随机森林蒙特卡洛结合、用于数据分类第十三课：EM算法和GMMEMM算法、GMM、主题

13、模型pLSA应用方向：分解局部观测数据的男女身高、图像分解第十四课：普斯贝叶斯和贝叶斯网络初步有向别离、隐马尔科夫模型HMM第十五课：主题模型用EM算法计算pLSADirichiet分布、LDAGibbs采样应用方向：使用Gibbs采样计算给语料的主题第十六课：采样MCMC(MarkovchainMonteCarlo)、Metropolis-Hastings算法、Gibbs采样第十七课：变分KL(pllq)与KL(qllp)分析、平均场理论第十八课：隐马尔科夫模型HMM概率计算问题、HMM参数学习问题、状态预测问题应用方向：使用HMM进行中文分词第十九课：条件随机场CRF无向图模型、MRF、前

14、向-后向算法第二十课：深度学习全连接网络、链式法那么与BP算法、卷积网络、残差网络、应用方向：使用BP网络对样本分类第十三课：深度学习总体介绍1 .神经网络；传统到现代2 .深度学习应用特定3 .深度学习开展方向4 .深度学习框架比拟：用Tensorflow进行课程学习第十四课：传统神经网络1 .线性回归2 .非线性鼓励函数3 .loss函数,常见问题：过拟合,正那么化,dropout实例：传统神经网络络实现第十五课反向反应：深度学习模型优化根底1 .SGD梯度下降介绍2 .神经网络的梯度优化3 .神经网络练习实例：反向梯度优化比照第十六课卷积神经网络1. 卷积核以及卷积层2. AlexNet

15、最早的现代神经网络3. VGG,GoogleNet,ResNet.近期的高级网络LeNet实例：利用已有模型进行物体分类/特征提取第十七课迁移学习1 .理论分析2 .迁移模型&原始练习模型3 .如何设计新的的网络实例：表情识别/人脸识别/动物识别第十八课与时域信息相关的深度学习1 .RNN2 .LSTM3 .图片标题生成4 .视频处理实例：LSTM用于图片标题生成第十九课自然语言处理1 .处理之前：speechtotext2 .词语表达,word2vect3 .语句生成LSTM实例：根据上下文答复下列问题第二十课给予深度学习的目标检测1 .传统的目标检测方法2 .初代算法：Region

16、CNN3 .升级：SPPNet,FastRCNN,FasterRCNN4 .深度学习另辟蹊径：YoLo和SSD实例：自动驾驶的核心：实时目标检测第二十一课深度卷积神经偶的重要应用1 .图片问答2 .图像模式转换3 .图像高清化4 .围棋程序,Alphago5 .自动游戏机器人,DeepMindAtari实例：图片艺术风格转化第二十二课无监督学习：对抗网络GAN1 .传统无监督学习Autoencode,KMeans,SparseCoding2 .RBM限制博斯曼机,深度学习的另一支3 .生成对抗网络GAN实例：机器生成图片,以假乱真第二十三课：迁移学习第二十四课：增强学习记忆模型,远超过RNN的

17、GTMM第二十五课：二值神经网络普通二值神经网络,YodaNNXLA如何让机器学习在TensorFlow上提升速度第二十六课：对偶学习纳米神经网络NanoNetAsolutiontothesingle-questioncrowdwisdomproblem选自自然杂志意味流行算法解决群体智慧中缺陷语义理解目前自然语言界最大难关使用LSTM+Attion解决像素卷积神经网络PixelCNN+可将图像生成速度提升183倍WaveNetRLSSscheduletobepostedsoon深度学习与强化学习暑期学校机器与大脑学习工程课程方案CNNsRNNsGenerativeModels2ComputationalNeuroscience1LearningtolearnCoffeBreakNeuralNetworksStructuredModels/AdvancedVisionProbabillsticNumericsNaturalLanguageUnderstandingComputational常见问题:Q:会有实际上机演示和动手操作吗A:有,几乎每节课,老师均会准