幂律与富者更富现象.pptx

18 幂律与富者更富现象 Power Laws and Rich-Get-Richer Phenomena,1,“富者愈富，穷者愈穷”,马太效应 圣经新约的“马太福音”第二十五章中有这么说道：“凡有的，还要加给他叫他多余；没有的，连他所有的也要夺过来。” 道德经七十七章：“天之道，损有余而补不足；人之道则不然，损不足以奉有余。” 1968年，罗伯特莫顿（Robert K. Merton）提出马太效应概括一种社会心理现象：“相对于那些不知名的研究者，声名显赫的科学家通常得到更多的声望，即使他们的成就是相似的，同样地，在一个项目上，声誉通常给予那些已经出名的研究者”,2,现实中体现“富者愈富”特征的过程,书籍、流行歌曲唱片的销售 微博主的粉丝的增加 一个人的名声，得到的“好处” 网页的入向链接数 “买了这，也买了那”的推荐方式 ,3,粉丝 7500万,粉丝 600多,4,“名人效应” 考虑一个网络中，度大的节点会越来越大，而度小的节点呈现出普遍性 极少数节点有大量的连接，而大多数节点只有少量连接 “富者愈富”的网络在演化中，存在一种“偏好连接”性 经济学报酬增加律 人工智能适应性学习 生物学自然选择 正反馈，“富者愈富，穷者愈穷”,“富者愈富”类似的概念,5,增长性 网络节点数不可能一成不变，它有一个增长的过程 偏好连接 新加入节点与其它已经存在的节点连接概率跟该已存在节点的度成正比,“富者愈富”演化模型,令 t 足够大，因此得到网络稳定度序列分布的概率密度函数近似为：,网络演化模型节点度分布的方程为：,“富者愈富”导致幂律：节点度分布解析,Reka Albert, Albert-Laszlo Barabasi. Statistical mechanics of complex networks. REVIEWS OF MODERN PHYSICS, VOLUME 74, JANUARY 2002,6,幂律分布,The difference between a power law and an exponential distribution,Above a certain x value, the power law is always higher than the exponential.,7,This difference is particularly obvious if we plot them on a log vertical scale: for large x there are orders of magnitude differences between the two functions.,The difference between a power law and an exponential distribution,8,Over 3 billion documents,ROBOT: collects all URLs found in a document and follows them recursively,Nodes: WWW documents Links: URL links,Expected,Scale-free Network,Exponential Network,What does the difference mean? Visual representation.,R. Albert, H. Jeong, A-L Barabasi, Nature, 401 130 (1999).,9,WORLD WIDE WEB,10,Nodes: WWW documents Links: URL links Over 3 billion documents ROBOT: collects all URLs found in a document and follows them recursively,Expected,R. Albert, H. Jeong, A-L Barabasi, Nature, 401 130 (1999).,WORLD WIDE WEB,11,Bio-Map,PROTEOME,METABOLIC NETWORK,13,H. Jeong, S.P. Mason, A.-L. Barabasi, Z.N. Oltvai, Nature 411, 41-42 (2001),14,Prot P(k),Nodes: proteins Links: physical interactions-binding,TOPOLOGY OF THE PROTEIN NETWORK,C. Elegans,Li et al. Science 2004,15,“富者愈富”的不可预测性,流行度的上升，在初始阶段是比较脆弱的；一旦被充分肯定，在富者愈富模型的推动下，其流行度就可能变得更高 富者愈富的过程是一个不确定的过程，充满了潜在的意外和失误： 让时光倒流15年，哈利波特还会售出上亿本或者只是默默无闻？ 历史重演多次，每次的流行度都应该服从幂律分布，但我们并不清楚最流行的项目是否在每次重演都保持一致 一本书、一部电影、一个名人或网站的成功受到反馈效应的影响，表现出固有的不可预知性,16,Experimental Study of Inequality and Unpredictability in an Artificial Cultural Market,Salgankik、Dodds、Watts音乐推广网站实验 SCIENCE FEBRUARY 2006 VOL 311 创建一个音乐下载网站，提供48首公众不熟悉的歌曲 9个复制网站，其中8个网站实验社会影响，用户能看到之前的下载数量，第9个网站看不到下载数量 用户被随机分配到8个之一,17,Experimental Study of Inequality and Unpredictability in an Artificial Cultural Market,18,Experimental Study of Inequality and Unpredictability in an Artificial Cultural Market,19,Experimental Study of Inequality and Unpredictability in an Artificial Cultural Market,20,不同歌曲的市场占有率在不同的网站差别很大 最好的歌曲不会在最低点，最差的歌曲也不会在最高点,“长尾”现象,流行度的分布可以产生重要的商业效应，特别是在传媒业 畅销产品：品种少但非常流行，产生较高收益 利基产品：品种多但每种都不太流行，每种产品吸引一小部分用户 想象一个拥有大量库存的传媒公司，如一家图书零售巨头，需要做一个决定：大规模的降价销售是选择畅销产品还是利基产品？ 基于互联网的销售方式以及其它因素，已经将媒体和娱乐产业推向以利基产品为主导的世界，那些不起眼的产品“长尾”吸引了大量的用户，如亚马逊（Amazon）和淘宝网,21,“长尾”现象,两种视角 （图1）作为k的函数，流行度恰好为k的图书所占比例是多少？ （图2）作为k的函数，有多少图书的流行度至少是k? 图2中以“销售排名”对图书进行排序，销售排名越靠后移到利基产品时，尾部慢慢向右下降，视觉上很像一个“长尾”,22,“长尾”现象,讨论 曲线上某个点j向右曲线以下面积=所有销售排名为j或者更靠后的图书销售的总量 畅销产品与利基产品的权衡问题，表现为：对于某一特定产品，曲线左边以下部分（畅销产品）面积更大还是右边以下部分（利基产品）面积更大,23,长尾理论,24,当商品储存流通展示的场地和渠道足够宽广，商品生产成本急剧下降以至于个人都可以进行生产，并且商品的销售成本急剧降低时，几乎任何以前看似需求极低的产品，只要有卖，都会有人买。这些需求和销量不高的产品所占据的共同市场份额，可以和主流产品的市场份额相比，甚至更大 长尾市场也称之为“利基市场”。“利基”一词是英文“Niche” 的音译，意译为“壁龛”，有拾遗补缺或见缝插针的意思,克里斯安德森,搜索引擎与推荐系统,互联网搜索工具的出现，如谷歌。它是加强了富者更富现象还是减弱了这种现象？ 一方面，谷歌使用流行度测量网页的排名，排名较高的网页是用户在建立自己的链接时能看到的主要网页，这种反馈会加强富者愈富现象，产生更不平等的流行度 另一方面，用户在谷歌输入一些非常宽泛的查询，结果并没有找到一个符合条件的结果列表，对于这类结果不明朗的查询，用户可能被引领到一些从没有浏览过的网页，从而削弱了富者愈富现象 推荐系统 从巨大数量的利基产品中盈利，公司需要其客户了解这类产品，并采用一些合理的方式来展示这些商品 根据客户过去的购买历史，推断哪些不那么广泛流行的、但符合用户兴趣的项目，如亚马逊和淘宝推广的推荐系统,25,深度学习：分析富者愈富的过程,体现富者愈富过程的一种模型 网页按照顺序创建：1，2，3，j， 当创建网页 j时，以概率p或1-p选择如下(a)或(b)执行 a. 以概率 p，均匀地、随机地选择一个早先创建的网页 i，建立一个从 j到 i的链接 b. 以1-p的概率，按照与已有入度成比例的概率，选择一个早先创建的网页 i，建立一个从 j到 i的链接。,26,富者愈富：已有链接越多，再得到链接的可能性越大；而且，p越小，这个现象会越明显,节点入度的表达（随机）,考虑一个任意节点j，看它的入度随时间（步）t=1,2,j,j+1,变化的情况 显然，节点j的入度是一个随机变量，Xj(t) Xj(t)=0,tj；对于tj，节点t+1给j链接的概率为两部分之和,27,因每个节点只发出一条边，这式子也可解释为：基于j在t时的入度，在t+1时得到的增量,这直接对应于前述模型过程的描述,节点入度的近似：从随机到确定,用连续函数xj(t)近似Xj(t)，类似有xj(j)=0，且 其中，q=1-p。这就得到一个用微分方程描述的节 点入度，将过程（t）和目标参量联系起来。对 每个j都有这样一个方程，边界条件xj(j)=0,28,因节点只发出一条边，可解释为：基于j在t时的入度，在t+1时得到的增量,解节点入度方程,解节点入度微分方程，有： 利用初值xj(j)=0，求得： 代入方程解就是：,29,对每一个j，都有这样一个关于t的幂函数，tj。j越大，值越小。,节点入度的概率分布函数（PDF）,我们需要的是节点入度的分布，考虑在t时刻入度至少为k的节点个数的占比，即要看满足 xj(t)k的节点 j在节点总数t中的占比。先是解出满足不等式的j，即： 除以t