北邮郭军web搜索chapter

1、Web 搜索搜索郭军郭军北京邮电大学 Web搜索的定义搜索的定义nWeb搜索(Web Search):是指在以环球网World Wide Web为典型代表的网络上的信息检索、过滤和推荐n重点学习系统和服务背后的理论和方法n检索(retrieval)是由用户提出查询需求，系统根据这个需求对Web信息进行查询并给出结果n过滤(filtering)是系统根据预先设定的条件，对Web中与该条件相符的信息进行提取、隔离或封堵n推荐(recommendation)是系统将用户可能需要的重要信息从大量的一般信息中提取出来，并主动推荐给用户n三者的联系与区别Web搜索的发展背景搜索的发展背景n网络与数字内容新

2、技术u光纤骨干传输网络、宽带无线接入网络相继建成u数字内容采集制作技术的日益成熟u大容量存储器的廉价化u网络数字内容(大数据): 时事新闻、数字音像、科学文献、远程教育动漫游戏、金融信息、政府公告、网络论坛网络博客、音视频播客、彩信彩铃、微博、 微信对对Web搜索的需求搜索的需求nWeb信息的海量化反而使信息查询变得更加复杂u人们永远怀疑得到的东西是不是最好的u永远怀疑得到的信息是不是完整的nWeb中非法、有害和垃圾信息的大量传播严重污染了Web信息环境，干扰和妨碍了人们的信息利用n在Web信息极其丰富的条件下，如何为用户提供有用信息是一个非常重要的问题Web搜索的挑战性搜索的挑战性n数据海量

3、: 大数据处理对算法产生全新要求n数据稀疏: Web不齐全、不完整和不一致n媒体多样:文本、图像、视频、音频、二进制程序代码、二进制数值等，每种形式又分为众多的子类n大量并发请求: 面向大众，服务请求的并发性非常高n数据特征演进: Web数据总是动态变化的，这种变化包括主题、媒体、数据量等多方面的变化n主观客观交叉: Web上的信息是客观存在，但这种客观存在是受大众的主观需求影响的Web搜索的科学价值搜索的科学价值nWeb搜索所研究的是一个崭新的科学问题如何在无边的动态的Web空间中寻找最符合用户需求的信息。这个问题不仅在尺度上空前巨大，而且约束条件非常不确定nWeb搜索既要考虑信息的客观性，

4、又要考虑信息的主观性nWeb搜索强有力地带动了相关学科，特别是智能学科的发展，如模式识别、机器学习、数据挖掘等Web搜索的研究状况搜索的研究状况n国家科技专项、国家973计划以及国家自然科学基金都在积极开展有关的研究nSIGIR、SIGKDD、TREC、TDT、MUC、ACE等国际会议和评测活动十分活跃n理论研究方面取得了长足的进步u文本检索、图像检索、音频检索、社交网络搜索nTREC在系统模型研究方面发挥引导作用uAd-hoc、Novelty、HARD、QA等n总体上仍处于发展的初级阶段本课的内容本课的内容(1/4)n第2章: 文本检索 Web信息采集、文本组织索引 文本内容表示、用户查询方

5、法 相关文本排序、文本聚类 文本分类、特征选择与变换n第3章: 图像检索 图像的文本自动标注、物体识别文字识别、人脸检测与识别视频的镜头切分、视频摘要本课的内容本课的内容(2/4)n第4章: 音频检索声学特征提取、基于HMM的语音识别语音关键词发现及检测音频的声学模型、音频的语义模型声学模型与语义模型的联系音乐检索模型本课的内容本课的内容(2/4)n第5章:信息过滤信息过滤系统中的分类器选择学习和优化问题垃圾信息过滤系统话题检测与追踪(TDT)系统本课的内容本课的内容(3/4)n第6章: 信息推荐基本关联规则挖掘算法可信关联规则及其挖掘算法超团模式快速挖掘算法协同过滤推荐的基本算法基于局部偏好的协同过滤推荐算法基于个性化主动学习的协同过滤面向排序的协同过滤 本课的内容本课的内容(4/4)n第7章:发展前沿基于文档的专家检索对象检索及信息抽取基于Web的对象检索博客检索TR