世界科学2008年,7陆王天宇

1、选择和聚类：一个正在形成的产业陆王天宇/编译一个改变传统产业的新趋势已经出现：基于文章的阅读情况，一些网络系统将读者可能会感的文章列出来，甚至可以将它们排序，把最有趣的放在最前面。读者将不用翻上好几页来找到他们想看的。也不用为了争取头版上有限的空间而激烈竞争了。个性化选择亦或报纸新生的契机报纸，这一人类活动的编年史，正在经历它几百年历史中最为重要的。这个常见的纸质产品每天早上依旧出现在报摊和过道上，但它出现在网络的数量正在激增。根据报纸的统计，在，阅读报纸的人数达到了 3400 万。而这仅仅是开始。网络降低了生产与的成本，而且为报纸开辟了全新的形式，因此，的故事，成长将不可避免地影响到传统的产

2、业。即使是很一般的网络服务器，只要它能获得足够的它就可以生成数千种不同版本的报纸。然而至今为止，大部分报纸和它的纸质版本看起来没什么区别。它们的首页往往和纸质版本一样，每天只更新一次，而且对所有读者提供同样的版本。这样的一致性没有必要。比如，当读者点击一条时，网络服务器完全可以生成一个新的网页，在线每分钟都可以改变。并且，它可以生成不同的主页，针对每个读者生成上百万种不同的版本。除非能做到这一点，不然信息的海洋里。将会越来越变得与你不相关，那些对你来说很重要的则淹没在网络在保持相关性内容方面，报纸首先需要赶上已经定制首页的其他。如谷歌（News）、雅虎（My Yahoo）和 Netvibes

3、这样的器，就允许读者定制个人网页的布局，这样就可以突出最受欢迎或者评价最高的。这些站点还根据或者类别将聚类，使读者将注意力集中在他们最感的内容上。这样的创新很有用，但是它们的应用还是远远不够。比如，My Yahoo 要求用户自己定制网页，他们需要自己去改变设置，而不是根据用户的需求自动改变。这些功能并不遥远它们实际上已经在站点上应用了，笔者在2004 年至2007年曾这个。Findory 根据过去的阅读情况，为每个读者建立了一个独特的、个性化的首页，读者可以像亚马逊（Amazon）书籍信息一样浏览自己感的内容。一个成功的系统是如何的在，报纸是一个价值 550 亿的产业，尽管这个产业总是被认为遇

4、到了麻烦，很多读者依旧衷情于他们自己家乡的报纸。因为上面很可能有和他们有关的，但是他们越来越不愿意啃完所有文章来找到和他们有关的员”。报纸已经淹没在信息的海洋里了，而个性化的可以成为报纸的“救生为了了解一个真正成功的系统是如何工作的，首先考虑一下那些已经开始使用系统的站点，如 Amazon 和 Netflix。这些系统的一个本质特征是不仅适应你的行为，还学习别的客户的行为。这里的假定是，有很多像你一样的人，他们享受着你还没有看到的一些东西通过一些算法搜索上的日志、评介，以及交易一般来说，如果来发现和你有类似喜好的人，然后查找这些人喜欢的物品，并且给你。系统可以找到和你买了很多相同物品的人，那么

5、系统会将他们了的、而你还没有买的东西给你。这种类型的算法往往被称为协作过滤或者群体过滤，因为它们利用社群中有相似想法的人的偏好来过滤和排列你所看到的东西。因为将算法应用到信息领域是很难的，很多试图用别的方法来制作个性化的。My Yahoo是最大的定制化站点之一，它于1996 年7 月开始使用。用户可以从上百个模块中做出选择包括新闻、天气、体育以及价格用户选择网页上这些模块定制的很容易建立起来，读者易于理解，而且利用说最重要的的优势，可以将不同的首页显示给不同的用户。通过定制，读者可以注意那些对他们来。News 可能是个性化站点中最顶尖的，尽量将个性化过程自动化，因而走的更加深入。举例来说，它使

6、用了一种被称为是间接个性化的技术，根据读者的喜好不同的内容给读者。这是产业中具有进步意义的创新。首先，来分析一下News 是怎样完成两项看似很简单的自动化过程：排序和的聚类。News 的排序搜索结果的方法非常出名。在处理时，针对某个特定的读者群体，它要了解什么对这一群体最有趣和最重要的，并且不断更新其个人主页。News 从不同的消息来源搜集上百万篇文章，因此它不可能像其他一些站点那样，让编辑来设定首页的布局。纳（Krishna Bharat）着News 的开发工作，他说News 使用的排序算法所依据的有：来源的性、文章的时效性、文章是否，编辑将文章安放的位置，文章所述的范畴和对读者的，以及文章

7、的受欢迎程度。聚类必须应对的News 还根据相同的事件进行聚类。聚类可以让读者从的多样性中获益，这对关注国际的读者尤其有用。但是基于同一事件将聚类会遇到一些子问题，而有些子问题相当难解决。其中一个是如何去定义“子问题”，这是一个不明确的而且相当难界定。News 通过一个被称为层次化凝聚性聚类的技术来解决这个问题将类似措辞的放在独特的“堆”中。它首先根据内容来搜寻那些使用相同或短语的文章；那些有足够相同词汇的文章被认为是相似的。每个堆中的文章根据相似度连接起来，可以将它想象成一棵树状结构，而文章就是这棵树的叶子。如果抓住这棵树的某一枝杈，那么这一枝杈上的叶子都是相似的叶子也就是说，这些文章是关于

8、同一个事件的。枝杈上的叶子就组成了一个聚类。当然，这棵树是一直在变化的，而关于一个一般事件的越来越多时，至少有两篇文章要成为该事件的内容，它们在相似度上的要求就被提高了，聚类因此可能会发生变化。可能会有新的聚类产生，也可能有旧的聚类或组成新的组合。组合是根据现有的进行调整的，而则是一直在变化的。如果最终目标是一份全都是你想看的内容的报纸，那么这些聚类和排序策略也就只能做到这个程度了可以判断内容新的发展是否是你感的，但是不可能达到逻辑上的飞跃例如通过了解过去对于搜索外星生物的，推断出你会对在外星系里找到类似于地球的行星的感。，就如同 Amazon 和要作出这种推断就必须找出每个读者的所在，以及和

9、这些相关的Netflix书籍和那样。为了达到这个目标，News引擎旨在找到对应每个读者的头条新闻，而不只是显示一般大众关心的头条系统分析所有读者过去和目前的点击情况，以及对现有和目前的浏览，然后生成一组读者可能感的。因为News 上的文章数和用户数都是相当巨大的，使用传统的聚类方法是行不通的。所以News 测试了 3 种更加先进的算法来：MinHash 聚类、概率化潜藏语义索引和共同计数。对每则以及每个点击它的读者，包括读者点击的其他所有（那些被读者共同阅读过的认为是共同过的）。所有共同的文章是根据历史数据计算出来的，所以在数据库上的计算量虽然很大，但相对而言还是很快速和有效的。一旦所有用户被

10、集中到聚类中，并且共同的文章列表被建立了起来，那么找到某个用户感的文章基本上是数据查询而已。通过那些聚类中最受欢迎的News 首先查看这个读者有关的聚类以及他最近点击过的文章，随后和共同过的文章，建立一个候选文章的列表。然后将这些候选文章排序并决定哪些将被在 2007 年国际给读者。网会议（ernational World Wide Web Conference）的一个中，的（Abhinandan Das）和他的两位同事称，这样的系统比标准的列表提高了 38%的点击率。换句话说，系统很明显的帮助读者找到那些他们感的。提出间接个性化系统的不只是一家。很多公司在研究这个问题 。如 Findory

11、为每个读者建立了一个独特的行为来适应他们的首页，将全世界上千个来源的和博客文章集中起来，并且根据每个读者过去的给每个读者的过程是完全自动的，没有任何。和别的不同，Findory 提供手动设定。用户只能通过阅读 Findory上的来改变他的配置文件。的形成了一个社会网络，每个读者都因为共同的而加入Findory引擎的目标是让读者去帮助别的读者。当一个读者读了一篇文章后，Findory 自动让这篇文章共享给其他读者也就是说，Findory 认为对文章的点击就是对这篇文章感，而有类似的读者可能也会对它感。当的人点击同一篇文章时，这篇文章有用而且有趣的就得到了展现，Findory 就会在更广的范围内这篇文章。和直接的社会网络不同，Findory 所有的关联和共享都是间接的。匹配读者的工作是在静悄悄地进行。这种做法有两个好处：一个是它能保护隐私你不知道系统中哪些读者是和你类似的；另一个是系统可以你的网络，你认识的人，去找到那些你从没见到过的这个群体中的。在个性化信息的世界里，新来的信息将会按照联系人的重要程度和中断的代价排序。不仅仅是报纸，所有的站点都将按照你的将文章重新组织和