2024人工智能10个重大数理基础问题

人工智能的10个重大数理基础问题引言作为新一代信息技术的代表(artificialintelligence,AI),已经成为创新驱动发展的核心驱动力之一.然而,就其技术发展而言,人工智能“不可用”“可以用”的技术拐点,“可以用”“很好用”“用得好”还存在诸多技术瓶颈,正呼唤重大技术变革.技术变革的先导是理论创新,即基础研究.它是指对事物本质和规律的科学化探寻和揭示,是启.,也包括对理论禁区和未知领域的新探索.本文主要关注人工智能技术发展当前亟待解决的重大数理基础问题.为什么要特别关注AI的数理基础问题呢?这是因为当前人工智能技术和发展主要是靠“算例、算法、算力”所驱动的,其基础是数据,其核心是算法,这二者都深刻地以数学为基础.数学主要提供所研究问题的形式化手段、模型化工具和科学化语言.没有形式化就没有程式化和计算机化,没有模型化就没有定量化和知识化,没有科学化就没有系统化和现代化.所以,数学在科学技术中具有独特的作用和价值对人工智能而言数学不仅仅是工具还是技术内涵本身而且常常也是最能体现本质、原始创新的部分.美国国家研究委员会的报告。10个重大数理基础问题我们提出当前AI亟待解决的10个重大数理基础问题,如下所述.大数据的统计学基础(如深度学习是以对大数据的加工处理为基础的统计学一直被认为是主导和引导人们分析和利用数据的学科传统上它根据问题需要先通过抽样调查获得数据,,最后对结论进行检验.所以,传统统计学是以抽样数据为研究对象的,“先问题,后数据”“→→→检验”的统计学流程.“熟知,统计学是建立在概率论,.(iid)p远少于数据量n(p≪n)的假设下被证明的.iid假设意味着样本须来自同一总体而且样本独立抽样,p≪n“(观测)不少”(用线性方程组来理解,“方程的个数大于未知量个数”).这两条假设是如此基本和影响深远,以至于统计学中的许多原理都以此为规约.例如,一个观测模型的误差与系统内部变量无关,(外生性假设),这是统计学一直以来的公设.很显然,所有这些假设在大数据情形都常常不满足,甚至会被彻底破坏.例如,自然记录/收集的数据既不可能仅来自于同一总体,也不可能保证彼此相互独立;像图像这样具有(p)的数据,(n)p≪n,而已有大量研究说明,p≪n破坏之后,“伪相关”“内生性”(incidentalendogeneity)等伴生问题[5].AI模型与分析置于坚实的大数据分析框架中,iidp≪n我们也需要在真实的大数据条件下去建立各种估计的大样本性质...统计学使用专有的随机变量或分布函数法去建模数据但假设空间多限于线性或广义线性模型此时模型参数具有解析形式可通过大样本分析去建立相应推断的可解释性理论.人工智能不提供对数据的建模,但使用像深度神经网络这样高度复杂的函数去建模,即使用高度复杂的假设空间,具有应用的普适性,但由于模型参数难有解析形式,也必然带来推断的不可解释性.这两种建模方法显然有着各自不同的优势与劣势,能否将这二者融合?如能,如何融合?“+”等都是值得尝试的路径.所有建模都必须在表示的广泛性和统计推断的易实现性或可解释性之间取得平衡,这是所有方法的瓶颈.另外,大数据计算的基础算法人工智能算法本质上是大数据分析处理算法,主要解决大数据分析与处理技术底层依赖的相关数学模型、分析原理与计算方法等问题.它是人工智能技术与应用的基础算法与理论支撑,是数学与计算科学深度融合的一个新领域.大数据分析处理的核心是通过计算对大数据进行加工处理和从中萃取有用信息.它通常包含查无论是数据处理还是数据分析,它们都是通过合适的计算机算法实现的.AI中被称为核心算法.核心算法的核心步骤通常要求在大数据环境下去解一些基本的数学问题,求这些基本数学问题的算法被称为大数据计算基础算法.当前,人工智能应用的主要障碍之一是,对真正的大数据,大部分已(要么不能用,要么算不出满意结果),例如,还没有一个好的算法能对TB([4]).缺乏这样的大数据算法之根本原因在于传统计算理论,以及基于传统计算理论的算法设计与分析方法学在大数据环境下失效.对任何一个大数据分析和处理问题,设计出一个超低复杂性的算法都不是简单的事.正因为如此,美国国家科学院/全国研究理事会在其发表的报告[6](basicstatistics);N-(generalizedN-bodyproblem);(graph-theoreticcomputation);(linearalgebraiccomputation);(optimization);(integration);(alignmentproblem).而他们所列出的大数据环境包括:流环境:“流”的方式给出;磁盘环境:数据存储在计算外设的磁盘;分布式环境:数据存储在不同机器或边缘端;多线程环境:RAM的环境中存储.7个巨人问题,是大数据计算所面临的核心挑战.值得注意的是,在通常单机环境下,7(可在常用的数学算法库中调用).由此可见,大数据对各学科的冲击是如此之基础和普遍.大数据基础算法研究本质上受大数据计算理论的限制.(例如至少在线性复杂性及以下)水平上寻找解决问题的算法.然而,当我“多项式复杂的算法是一个好算法”这样的传统观念时,猛然发现:未来的路在何方?数据空间的结构与特性(这二者常统称为现实世界)(称为虚拟世界)([3]).人类社会的构成元素是人,物理空间的构成元素是原子/分子,而信息空间的构成元素是数据,所以信息空间亦称为数据空间,是由数字化现实世界所形成的数据之全体.人工智能作用在数据空间是利用数据空间的方法认知和操控现实世界的技术.从这个意义上,(或更一般地,数据科学)最基本的认知对象.数据空间(或它的特定子空间).譬如数据科学面临的首要任务之一是储处理.由于这些数据并不能用关系数据库这样传统的记录方式去记录它们常被称为是非结构化的.我们知道,(或每一个)数据都有着它自己特定的记录方式,R-G-B3个像素矩阵来表示(无结构就无记录所谓非结构化本质上不是说它们无结构,(如图像可能具有不同的分辨率,也可以是从不同谱段采集的,既有图像又有文本等).要储存这样的非结构化数据并便于处理,唯一可能途径是将这些非结构化数据进一步形式化,“结构化”,,重新表达这些所有类型数据,并基于这样的形式化去存储和处理.这样的过程即是非结构化数据的结构化.只要有存储,就必然要结构化.结构化的本质是寻求数据的数学表示,而关键是设置一个最小的公共维度,使其在这个维度下,(当然,对每一类而言,可能会有冗余).要找到这样的最小公共维度,显然依赖于知晓每一类型数据的最小表示长度.以图像为例,我们希望知道:图像怎样才能够最简约地被表示?图像放到一起能互相表示吗?图像空间有维数吗?如有,是多少?等.把不同分辨率的图像放到一起可构成一个类似函数空间的无限维空间,这个空间内的图像可以认为是超高分辨率或无穷分辨率的,这一空间不仅为存储不同分辨率图像提供框架,也为理解图像分辨率的极限行为提供理论基础.问题是:这样的无穷维图像空间有什么特别性质?它对超高分辨率图像会带来什么新的洞察?(类似地,文本空间等)整体性质,是彻底解决非结构化数据存储的出路所在.在这样的探索中,AI技术是自然不过的事.除像上述这样需要对数据空间的某些子空间(如图像空间)性质展开探究之外,我们也期望对各种数据子空间的数学结构与性质展开研究严格地说,“空间”“集合”,“空间”,因为在其中“运算”“拓扑”.一个熟知的事实是,当一个对象集合被赋予某种数学(+拓扑)后可成为数学意义下的空间;一个数学意义下的空间内部元素可以按照特定规律去运算,也能够使用一些特定工具去分析.所以,(如图像),只有把它放在对应的数学空间中去考察,,从而获得更为本质的认知.于是,一个自然的问题是:对常见的这些数据空间,能不能赋予某种数学结构使它们成为数学上的空间呢?如能,它们又会成为什么样的数学空间?,(请注意,不同的数学空间提供的分析工具是有差别的)?让我们仍以图像空间为例说得更具体一些:+旋转等操作或运算,并选取图像差异性的一种度量,KLWasserstein距离等,使图像空间成为数学意义下的空间?如能,怎样的选择和搭配才能使所建立起来的空间更有利于图像分析?除数学空间这样的分析工具外,数据空间的代数结构也希望得到研究.研究数据空间的根本目的是为人工智能技术寻找新的突破口.只要是有利于这一目标的任何研究都应受到鼓励.深度学习的数学机理当代人工智能的主流技术是以深度学习为代表的.深度学习的巨大成功极大提升了它作为普适AI技术的主导地位,但另一方面,“后深度学习时代”的思考.深度学习的独特优势是对任意复杂数据都有强的建模能力只要训练数据足够,AI解决方案.但它的致命缺陷是,为什么深度学习具有这些独特的优势,别的方法就不具备吗?为什么它有这些致命缺陷,它们就不能被克服吗?理性而严格地回答这些问题AI的发展都是核心而紧迫的问题.定量刻画深度学习的构–效关系是首要的数学原理问题.假设y=N(x)=fk(fk−1(fk−2(···(f1(x))···))),i( fi(x)=GiWTx+bi, i=1,2,...,k,Wi∈Rli( 是一个深度神经网络,(如泛化性)kl等结构参数的函数.然而,(–效关系)呢?写出这样的函数可能是艰难的,“可控性”是可能的.例如,E是一个泛化性度量,N*是理想结构,则形如L(k,l,G)≤E(N)−E(N*)≤B(k,l,G)N.近年来已有关于深度学习泛化上界的研究,但还只(如深度)的影响估计.更加全面的评估,所有这样的研究十分基本,更是设计深度学习网络的理论依据,“艺术”“科学”的重要步骤.建立有确定数学意义的信息深度表示理论是另一个基本数学原理问题.“层”结构“复合”的意义上来对函数作逼近的,这使得对深度学习的解释性变得困难.回想,(Fourier)级数展开等,都为我们提供了非常清晰可解释的(“逼近阶”提高的方式,“频率”提高的方式渐近于被逼近函数),而这“叠加”式的.所以,要解释深度网络表示机理,“叠加”“复合”式逼近之间的桥梁是重要的.fkfk次近似,εkffk的某种误差度量,则f≃fk+1=fk+εk=f0+ε0+ε1+···+εkf“叠加式逼近根据神经网络的万有逼近定理Lk(x和非线性函Nk(x)=G(Wxb)fkεk,即LkNk≃fk+εk,Lk+1Nk+1≃LkNk+εk+1.Lk+1Nk+1“复合”的性质,Lk+1Nk+1LkNkLkNkεk+1,从而它有望通过调Lk+1Nk+1实现(Lk+1Nk+1−I)LkNk=εk+1.这一等式提供了审视深度学习的一个新视角.一方面,当深度网络已被训练,我们可以将上式εk作为定义,而通过对εk的分析来阐明每一层(块)的作用(例如是否单调下降);另一方面,可以将εk设置为优化目标,对应每一层期望能抽取到的特征(及由此带来的表示精度变化),而通过分层目标指导网络训练.如此能带来一个有确定数学意义、并能明确解释的深度学习架构吗?这一架构与近年来兴起的残差网(residualnet)有关联性,但又明显不同.学习过程的收敛性也是深度学习一个亟待解决的问题.(尤其是各种神经元的非线性),而大数据训练集又使得优化算法的选择离不开随机梯度的使用,所有这些都使得证明深度学习的收敛性并不容易.近年来出现了一些通过连续动力系统方法证明深度学习收敛性的尝试但很显然深度学习训练算法是离散动力系统,,实际的深度学习训练算法收敛性还远远没有解决.深度学习的稳健性也值得深入研究,它用于揭示当训练集有小的变化时,网络学习结果是否也会有小的变化.这一研究对于认识和防止深度学习被欺骗、被攻击有重大意义.非正规约束下的最优输运问题(datatransportation).例如机,机器视觉需要把图像与文字打通,辅助残疾机器人需要把脑电信号与视觉场景信息打通等.事实上“数据”融合实现的,“把异构的多类数据/信息在某个层面上打通”这种智能.数据输运可以形式化为这样的问题:µ0µ1,我们µ0“搬运”µ1.F(µ0µ1P)µ0“搬运”µ1P的所有可能方式,则在数学上,µ0µ1为两个测度,P为约束,T:µ0→µ1来实现“搬运”.于是,(optimaltransportationproblem,OTP):T*使满足T*= argminT∈F(µ0,µ1;P)

∫C(x,T(x))dµ0,其中,C(x,T(x))x“搬运”T(x).C(x,T(x))取为欧氏度量,xT(x)之间的欧氏距离,P“保质量”时,([7]),且已形成一套完整的理论和一些有效的实现算法.然而,P“保质量”,而是要保其他性质.例如,机器翻译要保语义,CTMRI要保解剖结构,信息传输从一个网络进入另一个网络要保信息熵等.对这些非常规约束下的最优传输问题无论是数学理论还是求解方法都还没有得到研究这是人工智能的核心基础问题之一.很显然,“打通”,“打通”,根本原因是它们之间存在某“共有特征“不变量如语言翻译之间的语义CTMRI“同一人体等.“保不变量”应是数据输运的最本质约束,“中间站”.然而,什么才是一个问题的不变量呢(例如语义()又是如何被表达的?µ0µ1各自含有的特征与不变量交集有多大?如何“保不变量意义下的最优传输也是迁移学习的最根本问题.如何学习学习方法论/完成学习任务的一般原则与方法学.在人工智能从人工化,走向自动化,迈向自主化的大趋势下,让机器学会人类的学习方法论,或者更严格地说,学会模(simulatelearningmethodologySLM)AI([8]).作者认为,学习方法论的模拟可以在不同层次上实现,例如可通过学习解决一族强相关问题的公共方法论解决另一个强相关问题,通过学习解决一族强相关问题的公共方法论解决另一个弱相关问题,通过学习FFPPA图1(网络版彩图)函数空间上的学习理论Figure1(Coloronline)Aconceptualillustrationforlearningininfinitefunctionalspaces解决一族弱相关问题的公共方法论解决另一个不相关问题等.12层次(learningtolearn,learningtoteach([910但还都集中在非常低的层次上.目前,特别需要将学习方法论的学习提升到理论层次.推动这一提升的关键一步是将学习方法论的学习置入一个合适的数学框架.F,P.我们希望通过FF0F中的任何一个问题.A是以这种方式解决问题的一个算法.这种描述提供了学习方法论学习的一个形式化描述,但还远未构成数学框架,亟需(1).A?(算法构造问题)如何选择供学习的强/F0?(训练集问题)F0F中的问题泛化性问题)一个显然而基本的问题是:?我们认为,一个问题可以描述为无限维空P(x).换言之它是由无限多可能的参数来决定的陈述.例如F是由凸.F.这样一来,上述问题就成为函数空间中的学习问题了.,对应地,函数空间上的学习理论研究问.函数空间的学习理论是一个尚未得到开垦的领域.如何突破机器学习的先验假设机器学习是人工智能的基础技术XY中D={xiyi}–f:X→Y作出估计.机器学习研究的传统范式是:(lXYR+下(假设空间)F={fθ:X→Y;θ∈P}中选择一个函数f*使得它“平均地”最优近似f,即f*=argminfθ∈F{ED[l(fθ(x),y)]+λp(fθ)},其中ED表示关于D的数学期望(均值),P是参数集,p(·)是正则化函数.机器学习在这样的范式下得到蓬勃发展并构筑了当代人工智能技术的核心算法(如深度学习、支撑向量机等).然而,机器学习的应用与有效性一直是以一些基本的先验假设为前提的[11].(i)大容量假设:F的容量是充分大的ff去构造(ii)独立性假设最优性准则是独立于数据生成机制设置的,特别是,l独立于数据而预设;(iii)完备性假设:数D{xiyi}yi应该是准确无误的,{xi}是足够多和有代表性的;(iv)正则子假设:正则p(fθ)的确定是由问题的先验知识决定的,因而得靠先验事先设置;(v)欧氏性假设:机器学习行为是欧氏的,换言之,DP都能够被嵌入到欧氏空间中,而且学习问题能够在欧氏空间中分析.所有这些假设是机器学习研究的常规性设置.这既可以认为是机器学习能得以飞速发展的原由,也是机器学习发展的桎梏.要提高现有人工智能技术的应用水平与性能,就必须要突破这些机器学习先验假设.然而,很容易观察到,要去掉这些先验假设,或最优地设置这些参量当且仅当事先知道问题的最优解,因而问题本身是一个“先有鸡还是先有蛋”的问题.所以,突破机器先验假设只能是以某种渐近成近似的方式实现的.大容量假设本质上涉及对待求解问题解空间的刻画.作者团队所提出的模型驱动的深度学习正是从模型刻画解的角度来解决这一问题的[12,13].独立性假设涉及如何根据数据集分布特性,自适性设置学习目标,Meng等[14,15]所提出的的误差建模原理是突破这一假设的有效方法之一.完备性假设包括非常复杂的数据集情形甚至本身就是小样本.课程学[16,17],但如何降低复杂性是必须解决的问题.突破正则子“下沉”到数据层次的学习来实现.欧氏空间假设涉及选择(例如用什么样的范数)去分析一个给定的机器学习算法问题.该问题本质上涉及Banach([18]).机器学习自动化问题人工智能的新一轮浪潮在哪?[1920]的判断,“适应环境”的浪潮.,AI技术.美国国防部高级研(DefenseAdvancedResearchProjects,2017年启动的终生学习机项目正反映了这种趋势.终生学习机涉及两个关键技术领域:终身学习系统和终身学习自然原则,前者要求系统可以持续从过程经验中学习,可以将所学知识应用于新情况,可以不断扩展自身的能力并提高可靠性;而后者期望关注生物智能的学习机制,重点关注自然界生物如何学习并获得自适应能力,研究上述生物学习原理及技术能否用于机器系统并实际应用.“适应环境”浪潮人们的主要关注点,也应是人工智能的下一个突破口.本文认为,要实现上述这样适应环境的自主人工智能,一个更为现实而且也是必须实现的中间阶段目标是实现机器学习的自动化[8].机器学习自动化应该解决当今机器学习/深度学习的“人工化”和“难用于开放动态环境”上存在的突出问题:数据/样本层面对人工标注的强依赖和对训练样本人工挑选的强依赖,模型/算法层面对网络结构的预设定和对训练算法的预设定,任务/环境层面对任务的专属性和对环境的封闭性等.这样的目标有别于各AI公司推出的旨在方便用户挑选模型和参数的AutoML,这里的机器学习自动化可称为Auto6ML,希望达到如下“6个自”的目标:数据/样本层面:;模型/算法层面:;任务/环境层面:.实现机器学习自动化与学习方法论的学习有着紧密关联[8].事实上T理解为一个统计推断,K=F×HLO4个基本空间组成的无限维乘积,其F是描述数据集的分布函数空间H是机器学习的假设空间L是损失函数空间O是优化算法空间,从而,K(用超参数化的语言,4个无穷序列值TKLMT→K,LM(T)称为一个超参赋值.这样,(SLM)便可理解为是一个对超参规则的一个学习问题.一旦这样的规则被学习到FHLO中的部分要素而优化其他要素Auto6ML中的某一或某些自动化目标.所以,学习方法论学习可能为机器学习自动化的实现提供模型和算法基础.知识推理与数据学习的融合“手工知识”“统计学习”两次浪潮,“适应环境”的浪潮.1次浪潮以符号推理/知识库运用为特征,知识表示需要人工设定,对少数特定领域的知识推理能力强,但感知能力弱;2次浪潮以基于数据/机器学习为特征,ANN广泛使用,知识自动表示,对特定领域感知和学习能力强,但抽象和推理能力差;3次浪潮会以自主学习/适应环境为特征,仅是前两次浪潮能力的简单叠加,将会具备持续自主学习能力,抽象能力也会大幅提升.在这样的发展大趋势下,AI系统既具有强大的知识自表示/自学习功能,又具有强大的知识推理功能是自然不过的事.特别是,后深度学习时代必然追求把知识推理与深度学习能够结合起来以使得深度学习在保持强大的数据学习能力基础上具有更明确的可解释性和更强的泛化性.在这一努力中,一个融合数据学习和符号推理于一体的框架或者模型是基础.这样的模型应该能够同—(连续或离散的实数形式)(符号形式),以及处理两类—实数运算和逻辑运算.设计和运行这样的融合系统核心困难在如何联通数据蕴含的知识和语言表达的知识,(数字化)(从抽象到具体/示例(从具体/示例到抽象)都是必须解决的问题.在数据空间和语义空间之间建立一个中间空间来联通数据与知识应([21]).理论上分析数据–知识混合系统也是一个挑战性问题.AI芯片寻优是最典型的智能行为之一AI的最重要应用场景之一(BP)/泛化性等这些与深度学习应用相关的问题自身就是复杂的寻优问题不确定环境下的对抗博弈,难以解析表达的复杂优化等也都是典型的寻优问题.数学的最优化理论与方法提供了寻优的理论基础.解决寻优问题也并不是深度学习的特长.所以,程仍远未解决.AlphaGo22]所展现的,设计高效的这样一种寻优算法会是一个高度综合的系统可能是随机搜索与确定性规则导航的结合,是数学优化算法与深度学习方法的结合.已经出现各种各样模拟具有内在收敛特性和进化特征的自然算法,如群体智能算法(遗传算法、蚁群算法、粒子群优化、烟花算法等),模拟退火算法,文化算法等.这些算法有很深刻的自然/生物/社会/物理解释,有天然的并行性和对目标函数的高度容错性(可以不知道目标函数的解析形式),但普遍缺少严密的理论分析,且收敛极其缓慢.如何将这类算法与深度学习结合,形成具有学习能力而且真正高效