深度学习的随机矩阵理论模型

深度学习的随机矩阵理论模型,邱才明,5/26/2020,深度学习理论-AReview,神经网络将许多单一的神经元连接在一起一个神经元的输出作为另一个神经元的输入多层神经网络模型可以理解为多个非线性函数“嵌套”多层神经网络层数可以无限叠加具有无限建模能力,可以拟合任意函数,多层神经网络,前向传播,SigmoidTanhRectifiedlinearunits(ReLU),常用激活函数,层数逐年增加,误差逐年下降,层数逐年增加,今天1000layers,Featuresarelearnedratherthanhand-craftedMorelayerscapturemoreinvariancesMoredatatotraindeepernetworksMorecomputing(GPUs)Betterregularization:DropoutNewnonlinearitiesMaxpooling,Rectifiedlinearunits(ReLU)Theoreticalunderstandingofdeepnetworksremainsshallow,为什么深度学习性能如此之好?,1Razavian,Azizpour,Sullivan,Carlsson,CNNFeaturesoff-the-shelf:anAstoundingBaselineforRecognition.CVPRW142Srivastava,N.,Hinton,G.E.,Krizhevsky,A.,Sutskever,I.,andSalakhutdinov,R.(2014).Dropout:asimplewaytopreventneuralnetworksfromoverfitting.Journalofmachinelearningresearch,15(1):19291958.3Ioffe,S.andSzegedy,C.(2015).Batchnormalization:Acceleratingdeepnetworktrainingbyreducinginternalcovariateshift.InInternationalConferenceonMachineLearning,pages448456.,ExperimentalNeuroscienceuncovered:NeuralarchitectureofRetina/LGN/V1/V2/V3/etcExistenceofneuronswithweightsandactivationfunctions(simplecells)Poolingneurons(complexcells)AllthesefeaturesaresomehowpresentinDeepLearningsystems,神经科学带来的启示,OlshausenandFielddemonstratedthatreceptivefieldslearnedfromimagepatches.OlshausenandFieldshowedthatoptimizationprocesscandrivelearningimagerepresentations.,OlshausenandFieldsWork(Nature,1996),Olshausen-Fieldrepresentationsbearstrongresemblancetodefinedmathematicalobjectsfromharmonicanalysiswavelets,ridgelets,curvelets.Harmonicanalysis:longhistoryofdevelopingoptimalrepresentationsviaoptimizationResearchin1990s:Waveletsetcareoptimalsparsifyingtransformsforcertainclassesofimages,Harmonicanalysis,Classpredictionrulecanbeviewedasfunctionf(x)ofhigh-dimensionalargumentCurseofDimensionalityTraditionaltheoreticalobstacletohigh-dimensionalapproximationFunctionsofhighdimensionalxcanwiggleintoomanydimensionstobelearnedfromfinitedatasets,ApproximationTheory,ApproximationtheoryPerceptronsandmultilayerfeedforwardnetworksareuniversalapproximators:Cybenko89,Hornik89,Hornik91,Barron93OptimizationtheoryNospuriouslocaloptimaforlinearnetworks:Baldithisisapropertyknownasdynamicalisometry.Itisunclearhowtoachievedynamicalisometryinnonlineardeepnetworks.,Dynamicalisometry,1Saxe,AndrewM.,JamesL.McClelland,andSuryaGanguli.Exactsolutionstothenonlineardynamicsoflearningindeeplinearneuralnetworks.arXivpreprintarXiv:1312.6120(2013).,ReLUnetworksareincapableofdynamicalisometry;Sigmoidalnetworkscanachieveisometry,butonlywithorthogonalweightinitialization;ControllingtheentiredistributionofJacobiansingularvaluesisanimportantdesignconsiderationindeeplearning,Dynamicalisometry,1Pennington,Jeffrey,SamuelSchoenholz,andSuryaGanguli.Resurrectingthesigmoidindeeplearningthroughdynamicalisometry:theoryandpractice.Advancesinneuralinformationprocessingsystems.2017.,深度学习应用于医疗数据,问题-分析已知结论对象(健康人/病患者)的EEG数据，提出对精神疾病有效的判别依据数据-测试者5分钟的脑电波数据，容量为64*304760，常规统计方法难以提炼出有价值的信息方法1-采用LES指标，可很好判别测试者方法2-采用深度学习效果显著,精神病脑电波数据分析,随机矩阵,深度学习网络共7层；每类人选取75%人做训练，25%人做测试，交叉验证；,随机矩阵v.s.深度学习,吸毒成瘾MRI数据分析,每个MRI文件切分为31张64x64图片建立31个相应CNN模型，进行分类最终判别结果由31个分类结果投票表决训练集46人（MA：24，HC：22）测试集12人（MA：6，HC：6）,深度学习结果随机矩阵结果,深度学习,脑部CT图像识别脑出血/脑梗,正常、脑梗、脑出血三类数据总共90个样本输入为256*256，jpg格式CNN网络共7层卷积层每类样本取80%做训练，20%做测试,脑出血,深度学习应用于微波图像,微波遥感图像目标检测识别,毫米波人体安检仪,微波图像,安检仪,危险/可疑物品,有效数据被检测物体能够清晰可见陶瓷刀20组,有效数据70个水瓶30组,有效数据153个枪30组,有效数据145个金属刀30组,有效数据108个,迁移学习-利用小样本集,深度学习性能卓越,深度学习性能卓越,深度学习具有远超人眼和传统方法的检测识别能力!,人眼和传统方法对手臂处的检测力不从心,深度学习性能卓越,深度学习应用于电力数据,爆裂绝缘子检测,爆裂绝缘子检测,识别：直接对玻璃绝缘子自爆位置进行检测，训练集与测试集按照4：1的比例采样于有自爆的玻璃绝缘子图片；分割：对绝缘子整体进行检测，训练集为所有正常玻璃绝缘子图片，测试集为有自爆的所有玻璃绝缘子图片；分割后的识别：分割任务训练得到的模型框出绝缘子整体，其余部分黑化，以增加信噪比，并采用识别算法进行检测，训练集与测试集和识别任务一致。,识别检测率/训练样本数,识别成功案例展示,分割成功案例展示,黄河上游光功率(850MW)预测,发电相关因素外界：辐照、云量(未测)、温度、湿度、风速、灰尘(未测)自身：设备属性，如太阳能片的型号、支路支架形式等政策：调度下发量(限电),所提方法与原先方法对比结果(48天)平均误差：113.839737.9251单天最大误差：245.1748111.0514单天最小误差：28.739911.7631,广陵风场-50台风机每日零时预测未来24-48小时发电量数据集样本量训练集:52992测试集:20016比例接近7:3,深度学习进行风电预测,基于LSTM的负荷预测,配网薄弱点评