web智能.doc

Web与智能 -需求现状与发展一、引言 随着Internet技术特别是WWW技术的飞速发展，Internet已经变成了一个庞大的、分布式的、异构的数据库和应用计算平台Web的大小和复杂性导致了对web页面的存储、管理和检索的巨大困难，原有的基于数据库和文本的理论、方法和技术很难直接应用到web上，因此，必须增强和发展相关的理论和技术来有效处理与web相关的问题在这样的背景下，一个崭新的研究方向web智能(Web intelligence，WI)应运而生，并已成为一个新的研究热点 自从Ning Zhong和Jiming Liu等人在2000年第24届国际计算机软件和应用年会数据挖掘和Web信息系统分会上首先提出web智能的概念以来，WI的研究得到了研究者的广泛响应和很大关注，并先后于2001年和2003年召开了两次关于WI的国际性会议，取得了颇为丰硕的成果在2003年国际人工智能联合会(IJCAI03)上，Jiming Liu作为特邀发言人做了关于WI的特邀报告2002年春天，web智能团体(Web IntelligenceConsortium，WIC)宣告成立，随后一个国际性的杂志web Intelligence and Agent Systems作为WIC的正式期刊出版发行WI的研究可以追溯到许多相关领域的研究，如信息检索、数据挖掘、ontology技术、智能Agent和多Agent系统等，这些领域的研究或多或少都已延伸到了Web这个巨大的、分布式计算平台上，然而这些研究都比较分散，没有一个统一一致的研究目标WI就是要致力于将这些分散的研究统一起来，并进一步探索和研究更新的理论、方法和技术，因此，WI的提出具有非常重要的意义本文只希望勾画出目前web智能研究的需求和发展趋势二、WI框架1、WI的概念 WI是一个崭新的研究方向，要想给出它的一个精确的定义是非常困难的，但是，我们又必须给出一个定义来界定它的研究内容和范畴WI的4位发起人Ning Zhong，Jiming Liu，Yiyu Yao和OhsugaSetsuo在他们的有关wI的文献和报告中都给出了WI的初步概念，总的来说，不外乎下列两种： (1)WI是指在web和Internet上充分利用人工智能(AI)和高级信息技术(IT)WI的目标是AI和IT在新的Web平台上的联合目标，即wI将AI和IT应用到基于Web的智能信息系统的设计与实现上 (2)WI是指在Web支持的系统、环境和活动中，探测人工智能和高级信息技术的基本作用和实际影响WI的目标是产生使我们能够在生活、工作和娱乐中充分利用web基础结构所提供的全局连通性的理论和技术 综上两个定义可以得到这样一个定义公式：WI=AI+IT引这个公式说明AI和IT是WI的基础，WI是AI和IT的融合也有学者提出了计算Web智能(computational web intelligence，CWI)的概念，即将计算智能(computational intelligence，CI)与高级信息技术结合起来并应用到web上，并列出CWI技术的7个主要研究领域，即模糊WI(fuzzy WI，FWI)、神经网络WI(neural WI，NWI)、进化WI(evolutionary WI，EWI)、概率WI(probabilistic WI，PWI)、粒度wI(granular WI，GWI)、粗糙WI(rough WI，RWI)和混合WI(hybrid WI，HWI)在他们看来，WI定义中的AI是指经典的基于符号的AI其实，就像CI与AI的关系一样，从广义上来说，WI应该包括CWI，CWI是WI重要的组成部分2、WI功能和技术框架从功能和技术层次上来说，WI技术至少可以分成如图1所示的4个概念层次：Fig1 Levels ofWIWI的概念层次其中： (1)Internet层Web被看做计算机网络系统，WI技术需要解决web的分布式存取问题、安全和通信问题以及网络本身的特性研究问题 (2)接口层Web被看做人与Internet交互的接口，在该层，WI技术需要开发具有交叉语言处理能力、个性化多媒体表示能力和多模式处理能力的智能web接口 (3)知识层Web被看做一个分布式的知识库或数据库，为便于机器的理解和基于Agent的自动计算，WI技术需要开发语义标记语言来表示web的语义内容 (4)应用层Web被看做建立社会智能网络的基础WI技术需要对建立在Internet上的社会网络或各种虚拟社团提供智能支持进一步地，WI技术还要对日趋增长的各种无线普及设备的访问提供个性化服务 上述关于WI功能和技术层次的划分，对于WI技术的研究具有整体层次上的指导意义，使我们能够从宏观上把握各层所要研究的内容及各层所要支持的功能对于一个具体的应用来说，一般要涉及到其中的几个层次或需要几个层次从下到上的共同支持例如基于Agent的Web挖掘、无线普及设备的访问和与WI相关的软计算等因此，不能简单地将某个层次隔离开来进行研究3、WI目前的研究内容为了更好地说明WI的定义，可以进一步从外延上界定WI的研究范围，目前WI的具体研究内容包括web信息系统的环境和基础、web信息管理、web挖掘、web Agent、web信息检索、web人本媒体工程(web human media engineering)以及基于web的应用等7个方面随着Internet的不断发展和WI研究的不断深入，WI的研究范围将会进一步地变化和扩展三、发展现状及其进一步研究工作在WI中，起关键作用的是Ontology和Web Agent(WA)语义web是通向WI的重要环节，其中Ontology起着至关重要的作用关于Ontology的自动构造和Web语义的自动标注需要进一步做的研究工作包括：(1)Ontology和ontology语言的广泛表示能力、抽象结构、语法和语义上的互操作能力，以及各种Ontology及标记语言的相互转换；(2)目前Ontology的自动化和半自动化构造，还不能根本性地解决Ont0109y构造的困境，如快速性、简易性和可信性等，需要有更新的方法；(3)开发较为完善实用的、具有广泛通用性的自动标注Web语义的支持工具，以及开发基于语义Web的应用；在WI中，起关键作用的除了Ontology，还有Web Agent(WA)WA是指Web环境中具有自治性、能动性、反应性和社会性的软件实体WA的作用主要体现在两个方面：其一是作为自治的实体探测(explore)和利用(exploit)基于Web的服务，其二是作为原型实体展示和解释web产生的规则目前已有许多这方面的研究，其主要作用如下：(1)向用户提供个性化多模式界面WA通过个性化与用户的交互及内容表示，如图、表、总结、指示和个性化可视化助手等各种认知辅助物，向用户提供一个友好的表示风格(2)提供Push和Pull功能用户在与WA交互的过程中，用户可以向WA表达自己的喜好，而WA则搜索用户感兴趣的内容并动态地推荐给用户(3)具有模式发现和自组织功能WA能够检测正在形成的用户购买模式，从而能有效地管理在线商务，合作推荐Agent还能将单个分散的用户聚集成组，形成动态市场(4)信息网关的作用WA能够提供用户最相关信息的即时存取功能，通过管理各种异构的Web信息源包括数据库、数据仓库、有线新闻、新闻组、新闻信函、外发的Email和各种超媒体文档等支持广泛的信息过滤和传送活动，以及基于用户的配置文件剪裁和向用户发送检索到的信息等(5)引导用户的访问行为WA通过向用户提供可免费访问某种信息和有用资源，或者提供参与多用户的信息或商品交流活动的机会，激励用户进入和再进入某种电子服务(6)进行合式商品匹配WA可以作为一种新型的商品交易服务工具交易商能够通过WA容易获取用户的即时兴趣，而用户也可容易发现和购买到合乎自己需要的商品(7)帮助用户进行决策WA可以在成本效益分析、基于模型的趋势分析等基础上以评估或推荐的形式向用户提供决策支持(8)作为用户代表WA可以扮演web用户的代表来进行有关在线活动，WA可以代表用户执行产品匹配、服务器监控、协商、投标、拍卖及商品售后服务等任务(9)对合作工作的支持WA能够为合作解决问题和管理工作流活动提供基础结构上的支持和必要的功能此外，研究者提出了一个更具挑战性的研究工作，即开发一个UAC(ubiquitous agent communities)系统，它是一个由多个Agent组成的基础体系架构，它能理解用户提交的意图，能利用已往的经验，对意图进行规划和分解，交由多个Agent合作完成 鉴于WA在WI中的重要作用，对WA及其作用的研究是一项很具实际意义的工作，这方面需要进一步做的研究工作包括：(1)对WA本身体系结构的研究，包括它的移动性和安全性以及WA之间的通信、合作与竞争等关于Agent的研究虽然已进行了许多年，取得了许多优秀的成果，但它离真正的实用阶段还有相当长的一段距离因此，在今后的一段时期内，Agent的研究仍将是AI的研究热点和重点(2)进一步拓展WA的应用，特别是基于语义Web的应用UAC系统是该领域的一个综合范式，它对推动WA及其应用的研究具有重要意义(3)利用WA探索和研究WWW所蕴含的内在规律是一个值得进一步研究的课题，对WA所发出的正确的信息搜索行为的研究也是一个值得探讨的问题此外， Web挖掘与WA范式在某种程度上存在着很强的对应关系，如web内容挖掘与基于内容的过滤器(filter)；Web结构挖掘与权威(reputation)页面过滤器；Web使用记录挖掘与基于事件的过滤器等，它们是WI研究中紧密联系的两个方面在Web挖掘过程中存在着两个主要问题：一是如何动态地规划、组织、控制和管理Web挖掘过程；二是如何让系统知道什么问题使用什么样的工具和什么时候使用Zhong提出了通过创建一种基于网格的、有组织的web挖掘Agent社会，即所谓的web挖掘网格方法来解决这种问题，其具体解决方法如下：(1)开发多种针对不同任务的web挖掘Agent；(2)把这些web挖掘Agent组织成具有多层的网格，作为Web下的一个软件中间件，用它来理解用户所提出的问题，对它们进行转换，转变为Web挖掘问题，并进一步发现关于该问题的资源和信息，从而得到一个混合的答案或解决方案；(3)将这种web挖掘网格用于分布式的、具有多种web数据源的、需进行多面分析的web挖掘任务中，并通过一种分布式的合作多层控制权限来管理web挖掘网格上述思想主要是寄希望于WA的活性来解决复杂的web挖掘问题由于在WI中web内容具有良好的语义，具有很好的机器可理解性和可推理性，更兼WA的作用，因此，WI中的Web挖掘将呈现出许多不同的特性：从实现的角度看，基于WI的web挖掘将更主要地利用各种WA的作用，并能执行分布式挖掘任务；从信息的检索上看，基于WI的信息检索将会更加精确、全面和容易；从处理过程上看，基于WI的web挖掘的处理重心将会逐渐后移；从挖掘技术上看，基于WI的web挖掘将能采用像web挖掘网格这样的技术来解决复杂的问题；从挖掘结果来看，基于WI的web挖掘将更精确，具有更高的可信度Web挖掘是WI的核心技术之一，web挖掘应能充分利用WI中语义web与WA的核心基础作用，进一步发展Web挖掘技术，解决web挖掘中的一些基本问题和重要问题，因此，在未来的web挖掘研究中，有以下4点：(1)进一步对web挖掘网格进行研究，提出更好的、更可行的、更完善的解决上节所描述的在web挖掘中存在的两个主要问题的解决方案；(2)研究如何利用暇进行分布式挖掘的问题；(3)研究具有响应时间约束的web挖掘问题；(4)研究如何利用web挖掘对web所提供的服务进行优化问题，如对用户的行为或要求进行预测等四、WI展望智慧WebHayes-Roth在IJCAI95的特邀报告中提到：“Agent既是AI的最初目标，也是AI的最终目标”同样地，Jiming Liu在IJCAI03的特邀报告中也提到：“WI的下一个范例方向在于智慧的概念，下一代WI的目标是除了信息搜索和知识查询之外，使用户能够获得生活、工作、娱乐和学习的智慧”他认为智慧web应该具有以下10种基本能力：(1)自组织性(selforganization)即WA具有良好的自组织性，它能自动地向其他服务推荐自己的功能角色以及相应的时空限制和操作环境，智慧Web能自动地对它们的功能和合作进行管理(2)专一化(specialization)即WA承担着单一化的功能角色，且它们与服务的联系是动态的(3)自然进化(growth)即WA的群体能根据需要动态地改变，旧的Agent因不适应专一化而消亡，新的Agent能通过自复制而产生，且更具专一性(4)自动催化(autocatalysis)即WA会因搜索请求而激活并能自动地聚类(5)问题解决者标记语言(PSML)即智慧Agent用PSML来规范说明它们的角色环境以及它们与服务之间的关系(6)语义(semantics)即智慧Web能很好地理解词汇内容的意义，准确地找到它们的Ontology的定义地点(7)元知识(metaknowledge)即智慧web用它来处理概念与时空限制知识之间的关系，以及解决Agent之间的利益冲突(8)规划(planning)即Agent为了达到目标，能够在相应的限制内很好地规划自己的行动(9)个性化(personalization)即智慧web能向用户提供个性化服务(10)幽默感(sense of humor)即智慧web在与用户交互时尽可能地表现出幽默性这为WI描绘了非常美好的发展前景，现在还很难说这就是WI的最初或最终目标，但是，它至少为WI的研究指明了一个中长期的努力方向智慧web的10种基本能力对WI的研究者来说是一个更大、更高、更远的研究挑战六、结束语WI是一个崭新的、非常有前途的研究领域，该领域已成为国内外学者的研究热点，并已取得了许多研究成果，但还有很多关键的问题尚待解决我们可以预见新的理论、标准、工具、系统和应用将不断地出现正如WI的几个倡导者所描述的：WI将铺设一条通向本世纪最大的发明智慧web的道路，它的重要性和影响将等价于或超过1876年贝尔电话的发明参考文献1.N Zhong.J Liu.Y Y Yao Web intelligence (WI) 20002.N.Zhong.Y Y Yao.J.Liu Web Intelligence:Research and Development.LNAI 2198 20013.N.Zhong.J Liu.Y.Y.Yao Web Intelligence 20034.J Liu Web Intelligence (WI): Some research challenge.IJCAI03 Invited Talk, Acapulco, Mexico, 200320045.WIC Web Intelligence Consortium 20046.Y Y Yao.N Zhong.J.Liu Web intelligence (WI):Research challenges and trends in the new informationage 20017.Y Y Yao.N Zhong.J.Liu Web intelligence (WI):Research challenges and trends in the new informationage.WI-2001 Keynote Talk, Maebashi, Japan, 2001 20048.J Liu Web intelligence (WI): What makes wisdom Web? 20039.N.Zhong Towards Web intelligence.AWIC 03 Keynote Talk,Madrid, Spain, 2003 200410.N.Zhong.J.Liu.Y.Y.Yao In search of the wisdom Web 2002(11)11.N.Zhong Toward Web intelligence 200312.Y.Q.Zhang.T.Y.Lin Computational Web intelligence (CWI): Synergy of computational intelligence andWeb technology 200413.T Berners-Lee.J.Hendler.O.Lassila The semantic Web 2001(05)14.Tim Berners-Lee Semantic Web-XML2000 200415.C.Fellbaum WordNet: An Electronic Lexical Database 199816.OpenCyc The Open Source version of Cyc technology 200417.M.S.Fox.J Chionglo.E G Fadel A common-sense model of the enterprise 199318.B.Swartout.R.Patil.K.Knight Toward distributed use of large-scale ontologies 199619.J.Hendler.D.L.McGuinness The DARPA agent markup language 2000(06)20.I Horrocks.D Fensel The Ontology Inference Layer OIL 200421.M K Smith.C Welty.D.L.McGuinness OWL Web ontology language guide 200422.A.Dingli.F.Ciravegna.Y.Wilks Automatic semantic annotation using unsupervised informationextraction and integration 200323.A.Maedche.S.Staab Ontology learning for the semantic Web 2001(02)24.N.Zhong Representation and construction of ontologies for Web intelligence 2002(04)25.C.A.Knoblock Deploying information agents on the Web 200326.J Liu.S.W.Zhang Unveiling the origins of Internet use patterns 200127.J Srivastava.P.Desikan.V.Kumar Web MiningAccomplishments & future directions 200428.韩家炜.孟小峰.王静Web挖掘研究期刊论文-计算机研究与发展 2001(04)29.R.Kosal