多媒体搜索引擎-DriveHQ(1)精编版

1、7/28/2021Multimedia Search Engine2查询结果处理查询的特征短英语：平均2.5词，80% 07/28/2021Multimedia Search Engine10查询结果处理结果排序2.tf-idf用idf为权重的加权词频和qttdtidftfdqs,文档中一个词的重要性nnttttttidftfidftfidftf,.,2211文档矢量文档矢量7/28/2021Multimedia Search Engine11查询结果处理结果排序2.tf-矢量空间模型矢量空间模型(vector space model)查询查询?7/28/2021Multimedia Sear

2、ch Engine12查询结果处理结果排序2.tf-idf文档矢量不一定是归一化的docdoc X 2doc X 3dqdqdqVVVVdqsim,cos,归一化因子归一化因子7/28/2021Multimedia Search Engine13查询结果处理结果排序2.tf-idf长文档的问题：如果把文档切割成几部分l单一主题l词频比例相对固定l词条相对固定l多主题l词频比例变化较大l词条变化大7/28/2021Multimedia Search Engine14查询结果处理结果排序2.tf-idf长文档的问题d1d2d1+d2文档集与集中单个文档的相似度如何衡量？FAQ文档及其查询7/28/

3、2021Multimedia Search Engine15查询结果处理结果排序2.tf-idfSEO SPAM (Search Engine Optimization SPAM)l出现在搜索引擎上对网站的访问量影响巨大l希望自己的网站总是出现在搜索结果的最前面lSEO: Search Engine Optimizationl根据索引算法优化页面设计tf-idf相关性计算准则下如何优化？华师大 华师大 华师大华师大 华师大 华师大华师大 华师大 华师大华师大 华师大 华师大这个页面没人看？7/28/2021Multimedia Search Engine16查询结果处理结果排序2.tf-idf

4、SEO SPAMl隐藏文字lMeta Tag：lImage Tag: lHTML注释l超长标题l同色文字：文字与背景色相同l自动跳转页l包含大量关键字的页面自动跳转到真实页面7/28/2021Multimedia Search Engine17查询结果处理结果排序2.tf-idf“王婆卖瓜自卖自夸”l文档的优劣程度不可能通过文档本身来评价l通过文档本身的内容对文档排序的方法不可靠l谁可以评价文档的优劣？l用户评价l同行评议7/28/2021Multimedia Search Engine18查询结果处理结果排序用户评价根据用户在查询结果中的点击来度量网站与关键字的相关性l需要巨量的用户记录l跟

5、踪较困难同行评议根据同行对文档质量的评价来度量网站与关键字的相关性l谁是同行？lInternet7/28/2021Multimedia Search Engine19查询结果处理结果排序同行评议网页有很多链接Page AhyperlinkPage BAnchorJournal of the ACM.7/28/2021Multimedia Search Engine20查询结果处理结果排序3. 用链接文字索引网页Armonk, NY-based computergiant IBM announced todayJoes computer hardware linksCompaqHPIBMBig

6、Blue today announcedrecord profits for the quarter7/28/2021Multimedia Search Engine21查询结果处理结果排序3. 用链接文字索引网页/101589.htmllUsing Common Hypertext Links to Identify the Best Phrasal Description of Target Web Documents优点：可能比网页文字更准确l“旁观者清”缺点：仍然易于作弊l在自己的网站内建立大量的页面，所有页面中建立大量的链接指向主页

7、l引用分析7/28/2021Multimedia Search Engine22查询结果处理结果排序引用分析最简单的实现：用链接数计算重要性l方法1：计算出度和入度l方法2：只计算入度l作弊还是很容易7/28/2021Multimedia Search Engine23查询结果处理结果排序4. PageRank (Google)随机选择一个起始页面随机跳转到页面中的一个链接长时间迭代后，每个页面的被访问概率趋于稳定7/28/2021Multimedia Search Engine24查询结果处理结果排序4. PageRank“死端点”？(dead-end)l没有链接的页面?7/28/2021M

8、ultimedia Search Engine25查询结果处理结果排序4. PageRank修正的策略l碰到死端点：随机跳转到任意页面l在非死端点：以10%概率随机跳转到任意页面，以90%概率随机跳转到某一个链接l为什么？l局部陷阱如何计算(每个页面的)这个概率？这个概率真的能够稳定吗？7/28/2021Multimedia Search Engine26查询结果处理结果排序4. PageRank马尔科夫链(Markov chains)lN个状态lN*N个状态转换概率ikmnPikPimPin1, 01NjijijPPP：N*N状态转换矩阵7/28/2021Multimedia Search

9、Engine27查询结果处理结果排序4. PageRank各态历经(Ergodic)马尔科夫链l任意两个态之间都是连通的l从任何初始态开始，经过有限时间T0以后，在TT0时处于任何某一个态的概率大于0l所有态存在稳定的长期访问概率l该概率与起始态无关l如何计算？7/28/2021Multimedia Search Engine28查询结果处理结果排序4. PageRank各态历经(Ergodic)马尔科夫链x = (x1, , xi, , xN)处于状态1的概率处于状态i的概率处于状态N的概率. 11niix下一步：xP7/28/2021Multimedia Search Engine29查询

10、结果处理结果排序4. PageRank各态历经(Ergodic)马尔科夫链l如果我们在稳定态a = (a1, , ai, , aN)下一步：aP = aa是P的最大特征值对应的特征矢量对各态历经的状态转换矩阵，该特征值总是存在的7/28/2021Multimedia Search Engine30查询结果处理结果排序4. PageRank算法1：求P的特征值和特征矢量l不现实：超高维数算法2：la = x*P*Pl可以任意取合理的x：与起始状态无关l还是比较慢思考题：如何快速计算PageRank?l针对超大规模网页链接7/28/2021Multimedia Search Engine31查询结

11、果处理结果排序5. HITS (Hypertext-Induced Topic Search)针对某个主题，有两类非常重要的网站l目录(hub)：本主题相关网站的列表l权威(Authority)：与本主题内容密切相关的网站l如果查询的是较宽泛的主题，则以上两类网站更能满足用户需求7/28/2021Multimedia Search Engine32查询结果处理结果排序5. HITS通信公司张三李四中国移动中国联通中国电信7/28/2021Multimedia Search Engine33查询结果处理结果排序5. HITS提取算法l第一步：针对某个主题，获取一个可能包含好的hub和authority的基本网页集合l用主题词作为关键字查询200-500个根网页集l增加根网页集指向的网页和指向根网页集中网页的网页基本网页集7/28/2021Multimedia Search Engine34查询结果处理结果排序5. HITS提取算法l第二步：在这个集合中找到好的hub和authorityl迭代执行下面的计算l值无限增大？l用比例因子归一化l绝对大小无意义，只需排序结果h(x)1a(x)1yxyaxh)()(xyyhxa)()(xx7/28/2