




下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、深度学习基础知识整理Withoutdeviationfromthenorm,progressisnotpossible(不偏离常规,就无法取得进步-FrankZappa)选择哪个深度学习框架?鬟手习框柒*机构教程将可利用资源P.nr0rge 应加心丁坨0r珂 isandearningLanguagesa-.-ramewtrfks 伯tra,Wgmaler,als卷浮箱蛰网络建模能力CNNmodelirigcapability需环神经网络建模能力RNNmodeling的时嘀以果构;易用度及前端Arctiilecture;easy-to-useandmodularfrontend执行效率Speed
2、部署的便利性Install&Port多 GPU 运算支特MultipleGPUsupportPythonC+T&nsorFI&w八GOGoogle详尽的文档,容易被初学者理解和实很好的CNN建现.TFLeam中根模能力,易于崖立多使用 InceptionV3 模TensarFlow妁型RNN示例使用皿kglkig可以比较高效地实现 ENN直观而模块化的架得藉鬻方产品期的高质量代码盟鬻噩训却蚓使其在大多数蠹翔/盛舱中具有竟争力debug 和首控弃格性,能够全面地支持各种硬件和榛作系统,支持 We(和 AMD 的 CPU:通过CUM 支持 NVIDIA 的 GPU;通过。g
3、nCL麦持AM口的 GPU,但没 CU口四成熟;支持 Linux、Mac 和 Window 占;燧够基干ARM 架构编译利优化.TensorFlowServing 可让力境好的模型快捷方孽地就人到实际生产环境原生支持的分布式深度学引可以很好支持多 GPU运算CaffePythonC+BerkeleyVisionandLearningCwiler;贾抵消安装和配置是一个对时间序列RNN、L&TM 等支持得不比较让人头痛的问支持非常好,很好是将别充分疆于题;在文档上也程时比较痛苦,不过正在改善的CNN建模能力L自yer的模式也对若要大量工作才能创建一个新层,在横型结构非常复杂时可能需要写非
4、常完KNN 不是芈常友好,长的配置文件才能定义 RNM 建构时比设计好网络,而且唧稍落后于GsnsorFlow;程序运行非常稳定,代码质量高较麻烦读时也较协力在 GPUL 训练的性能很好.底层基于 C+的,因此可以在各种硬件但是目前很支持单机多环境编译并具有良好的移植性, 支持GPU的训练.不原生支持分Linux.Mac和 Window 生也可收编译布式的训炼: 不过通过:罪部署到 Andmid 和心S卜:沱计算机视三方如 Cw除 CtnSpark借觉领域应用尤其氧常用于人脸识别、助 Spa 由的分布式框架可图片分类、位置检潴、目标追踪等实现 C 自施的国规模分布式训练CNTKC+Micros
5、oft少见新手班资料支持各种前信网翳包括MLP.CNN、RNN.LSTMSequertce-to-Sequence.也支特自动求解梯度TorchLuaFacebooli详尽的文档, 容易被初学者理解和实现很好的CNN建模能力,丰富的CNN 更源, 包括易干使用的时间卷织集MXNetPythonC+RDistritauledMachineLearning 详尽的文档,客易Ctmmmil 上被初学者理睇和李沐,实现AWW 官方推荐很好的CNN建模能力Th&snoPython蒙特利尔大学 UsaLabPython深度学可摩的基石,派生出了大量基于它的4度学习库;高质量文档和教程,同对 CMN
6、 的支持很好感强的CNN 建模能力时可以方便地查找到各种 FAQ丰富的RNN救程和项构建模型拥有产品期的代码性能易尚设计.在CPU、单GPU、名GPU,以及GPU集群上都有非常优异的表质;在语音识别软现;最近推出的 14it域的使用尤其广泛cdnipcessKHi ?Hi低了通信代价,使大业模并行训某也拥有很高的效率原生支持多GPU和分布式,基于C+并且聘平台, 大部分情况下部从官网企布的对比评测来署非常茕单,PC上支持 Linux、M融和看.性钱非常不错;在多 Windows,但目前不支持ARM架构一GPU方面,CNTK 相对干限制了在移动设备上的发挥箕他的深度坐习奉梨表现得更突出Ker靛P
7、ythonfchollelLaugnePythonLasagneNervanaNeonPythofiSystems(imtei丰富的RNN教程河为梢隹模型想多直现而模块化的架第三方的扩展支持构.开发相对简单 RNNWTensorFlow样使 R 底层 C+加二且右开海粪孑匚袖4SGH层脚本 l 语言调用的方式 1 只不过RrchKSSMSIE使用的是5 支制MMs还支君虐川,最佳性持各种嵌入式礴(iOS.And 加FPGA等 , 不过运行时必须有UumJlT的环境,工业生产环境的使用相对较少GPU 上苣计算优先,支持复杂神鲤网络的拓扑图结构.再并行化到CPU和GPU上较好的 CNN建模能力它的
8、符号计算入 PI支恃循环控制,让RNN的实现”篇简单并且高性能育观而模块化的架构.开发相对简单在调忒时输出的错误信息非常理以看H.DEBUG 非常痛苫上层的计算图优化算在并个框架中率先支持多法可以让符号计算执支持非常多的语言封装寸*+、Pyttion行得非常快,且节热内 R、Julia.Scala,Go、MAR 朋和黑 Y 鲁猊言嚷*-存湖建一个网络需要MvaScript.同时可忸在 AM 箱汨、i0S 溪*嗨嗑舞楚+的时间可能比小丽上运行基于深度学习的囤像识别等任Tor 曲长但比直接用务鬻鬻然多1GPUTh3 附快甄分布式集群稍箫后干TensorFlow;支持 Linux、Mac和 Wind
9、 口阳 I 但是没在定义新网络结构时.有底层 C+接口都.罟摸型十分不方便通常需要长盹间的编不支持理珅移动设备洋ITieano 的上片史度封装.崇尚极笥、息度嗅块化的神经网络框架可以殖电切换执行计算的后队目前同时支持 Theam 和 TensorFkw;组件全是可插拨的模块,比较适合在探索阶段快速尝试各种网络结构,这让醺而 3 非常适合前沿价究尊H界的最爱之一只在 QpenCL 和丁健加。S 己的自即自my应上支持空GPUUI 陈;目前没有分右式实现;在单 GPU 上抗行效率”不错.但是鹄要将Python代码转换成 CUDA 代码, 再编译为二进制可执行文件,编译复杂模型的时间久目前无法直接使
10、用多GPU,大规模数据处理速度没有其他支持多GPU和分布式的框架快同样是 Th 的 no 的上层封装,设计的原区是简洁、选用、模块胆、实用、聚焦和专注;Karas 隐藏了 Th 葩 no 中所有的方法和对象,而 Lm&ggrw 则是借用了Theamj中很多的类茸是介于基贴的仙曲m却高度抽象灼熊之间的轻度封装对神经网筋的每一厩定义都非常严凰支持前馈相经网络如CNN.RNN、LSTM 等而及它们的朝合;同时支持许多优业方法如NE31EElYiome 血 m.RMSpcnp.ADAW 等.学H界的最要之二少见新手期资料;同样具有开源卷积箱经网络基准洌试的最佳性能;未来可能与GPU无关了,建谀
11、美注 Intel 今才推出的专用深度学习CPU第一课:数学分析与概率论Taylor展式及其应用、凸函数、jensen不等式、常见分布与共辗分布第二课:数理统计与参数估计Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计第三课:矩阵和线性代数从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程第四课:凸优化凸函数、共辗函数、凸优化、Lagrange对偶函数第五课:回归高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系应用方向:线性回归、Logistic回归实现和分析第六课:梯度下降与拟牛顿法应用方向:自适应学习率代码实现和参数调试分析第七课:最大嫡
12、模型嫡、相对嫡、信息增益、最大嫡模型、Softmax回归应用方向:独立成分分析ICA求解盲源分离BBS问题第八课: 决策树和随机森林(蒙特卡罗)ID3、C4.5、CARTBagging研究方向:使用随机森林进行数据分类(蒙特卡洛)第九课:SVM线性可分支持向量机、软间隔、核函数、SMO研究方向:使用SVM进行数据分类第十课:聚类K-means/K-Medoids、密度聚类、谱聚类、应用方向:K-mean$谱梯度下降算法、自适应学习率、拟牛顿、LBFGS聚类代码实现和参数调试分析第十一课:推荐系统相似度量方案、协同过滤(User-based/ltem-based)、PCA/SVD、随机游走应用方
13、向:协同过滤用于商品推荐、SVD隐变量的推荐第十二课:提升梯度提升决策树GBDT、Adaboost、前向分步算法应用方向:Adaboost与随机森林(蒙特卡洛)结合、用于数据分类第十三课:EM算法和GMMEMM算法、GMM、主题模型pLSA应用方向:分解部分观测数据的男女身高、图像分解第十四课:普斯贝叶斯和贝叶斯网络初步有向分离、(隐)马尔科夫模型HMM第十五课:主题模型用EM算法计算pLSADirichiet分布、LDAGibbs采样应用方向:使用Gibbs采样计算给语料的主题第十六课:采样MCMC(MarkovchainMonteCarlo)、Metropolis-Hastings算法、G
14、ibbs采样第十七课:变分KL(pllq)与KL(qllp)分析、平均场理论第十八课:隐马尔科夫模型HMM概率计算问题、HMM参数学习问题、状态预测问题应用方向:使用HMM进行中文分词第十九课:条件随机场CRF无向图模型、MRF、前向-后向算法第二十课:深度学习全连接网络、链式法则与BP算法、卷积网络、残差网络、应用方向:使用BP网络对样本分类第十三课:深度学习总体介绍1 .神经网络;传统到现代2 .深度学习应用特定3 .深度学习发展方向4 .深度学习框架比较:用 Tensorflow 进行课程学习第十四课:传统神经网络1 .线性回归2 .非线性激励函数3 .loss 函数,常见问题:过拟合,
15、正则化,dropout实例:传统神经网络络实现第十五课反向反馈:深度学习模型优化基础1 .SGD 梯度下降介绍2 .神经网络的梯度优化3 .神经网络训练实例:反向梯度优化对比第十六课卷积神经网络1.卷积核以及卷积层2.AlexNet 最早的现代神经网络3.VGG,GoogleNet,ResNet.近期的高级网络 LeNet 实例: 利用已有模型进行物体分类/特征提取第十七课迁移学习1 .理论分析2 .迁移模型&原始训练模型3 .如何设计新的的网络实例:表情识别/人脸识别/动物识别第十八课与时域信息相关的深度学习1 .RNN2 .LSTM3 .图片标题生成4 .视频处理实例:LSTM 用
16、于图片标题生成第十九课自然语言处理1 .处理之前:speechtotext2 .词语表达,word2vect3 .语句生成 LSTM实例:根据上下文回答问题第二十课给予深度学习的目标检测1 .传统的目标检测方法2 .初代算法:RegionCNN3 .升级:SPPNet,FastRCNN,FasterRCNN4 .深度学习另辟蹊径:YoLo 和 SSD实例:自动驾驶的核心:实时目标检测第二十一课深度卷积神经偶的重要应用1 .图片问答2 .图像模式转换3 .图像高清化4 .围棋程序,Alphago5 .自动游戏机器人,DeepMindAtari实例:图片艺术风格转化第二十二课无监督学习:对抗网络G
17、AN1 .传统无监督学习 Autoencode,KMeans,SparseCoding2 .RBM 限制博斯曼机,深度学习的另一支3 .生成对抗网络 GAN实例:机器生成图片,以假乱真第二十三课:迁移学习第二十四课:增强学习记忆模型,远超过 RNN 的 GTMM第二十五课:二值神经网络普通二值神经网络,YodaNNXLA 如何让机器学习在 TensorFlow 上提升速度第二十六课:对偶学习纳米神经网络 NanoNetAsolutiontothesingle-questioncrowdwisdomproblem(选自自然杂志意味流行算法解决群体智慧中缺陷)语义理解(目前自然语言界最大难关)使用
18、 LSTM+Attion 解决像素卷积神经网络(PixelCNN+)可将图像生成速度提高 183 倍WaveNetRLSSscheduletobepostedsoon(深度学习与强化学习暑期学校)机器与大脑学习项目课程计划CNNsRNNsGenerativeModels2ComputationalNeuroscience1LearningtolearnCoffeBreakNeuralNetworksStructuredModels/AdvancedVisionProbabillsticNumericsNaturalLanguageUnderstandingComputational常见问题:Q:会有实际上机演示和动手操作吗?A:有,几乎每节课,老师均会准备上机演示部分
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年度房地产融资居间服务合同范本(专业版)
- 2025卜璧离婚协议书及婚后财产分割与子女抚养协议
- 2025年海上光伏产业技术创新与海洋能源产业技术创新产业竞争力提升
- 2025版砂石料生产设备维修与保养服务合同范本
- 2025版企业人力资源绩效评估与激励方案合同
- 2025年公共安全设施维护责任书
- 2025年度室内装饰装修材料生产与销售联盟合同
- 2025年度租赁房屋租赁纠纷处理与仲裁协议
- 2025版宠物个人买卖合同:宠物交易健康协议
- 2025版食品行业知识产权保护保密协议模板
- 2025-2026学年人教版(2024)小学数学三年级上册教学计划及进度表
- 2025年福建省工会社会工作者(工会专干)招聘考试(工会基础知识)历年参考题库含答案详解(5套)
- 2025年人工流产试题及答案
- 2026届潍坊市达标名校中考联考语文试卷含解析
- (新教材)2025年秋期部编人教版二年级上册小学语文全册教案(教学设计)(新课标核心素养教案)
- (标准)棋牌室转让合同协议书
- 幼儿园膳食委员会组织机构及职责
- 手术室护理实践指南:院感控制管理
- ERP方案设计与研究
- 高二语文秋季开学第-课:笔墨山河待君行
- 阆中古镇管理办法细则
评论
0/150
提交评论