基金申请20130219.doc

基于大数据的电子商务虚假评价过滤与信任预测方法 摘要 随着电子商务的飞速发展 网络消费欺诈和企业恶性竞争等问题也日益突出 在线 信任系统在保障网络交易安全与稳定 防止恶意欺诈 建立良好的信任关系 促进电子商 务健康发展起到积极作用 由于网络购物的虚拟性 匿名性和自由性等特点 虚假评价导 致信任推荐系统自身就是不可信的 更谈不上得到用户的满意 因此 如何过滤信任的虚 假评价 建立可信的信任度模型和信任预测机制成为当前研究的热点问题 本项目将电子 商务交易过程和信任评价过程抽象为复杂网络 将信任虚假评价过滤和信任行为预测转化 为网络链路过滤和预测两个关键问题 并构建统一的网络链路过滤与预测模型 基于最大 似然估计 图论聚类和隐马尔科夫链等理论研究链路过滤和预测方法 本项目为信任模型 与管理机制研究开创一个新的思路 对信任评价模型与预测的核心理论问题的研究具有重 要价值和应用前景 对于链路过滤与链路预测研究的理论基础的建立和完善 可以起到推 动和借鉴作用 With the rapid development of e commerce the problems on cheats in network shopping and malignant competition of enterprises are becoming more and more serious Online trust system has a positive role for ensuring safe and stable network trades protecting malignant cheats building well trust relations and promoting healthy development in e commerce Since the network shopping with the virtual anonym and free characteristic false evaluation leads to trust recommender system itself is incredible for users let alone users satisfaction Hence how to filter false evaluation and build credible trust model and predictive mechanism will become current hotspots This project abstracts ecommerce trade process and trust evaluation process into complex network and transforms false evaluation filtering and trust behavior predicting into link filtering and predicting Unified link filtering and predicting model is built and respective methods are explored based on maximum likelihood estimator graph clustering and HMM This research starts a new solution for trust model and management which is an important value and application for the core problems of trust evaluation model and prediction and a promotion and reference role for building and improvement of theoretical basis in link filtering and predicting 1 立项依据与研究内容 1 项目的立项依据 1 1 问题的提出 随着网络的飞速发展 网络交易急速递增 网络购物市场呈指数级增长 截至 2012 年 底 中国网民规模达 5 64 亿 其中购物用户 2 42 亿 比前年递增 24 8 1 据中国电子商务 统计中心统计 2012 年 中国网络购物市场交易额突破万亿 其中 C2C 市场占 90 以上 2 中国 C2C 电子商务发展迅猛 在网络购物用户规模保持快速扩张的同时 市场结构进入加 速优化期 但是网购消费欺诈 用户信息泄露 企业恶性竞争等问题在 2012 年更加突出 1 实证研究表明 在线信任系统在保证网络交易安全 稳定 防止恶意欺诈 建立良好的信 任关系 促进网络市场健康发展发挥着积极作用 3 由于 C2C 网络购物的虚拟性 匿名性 和自由性特点 恶意用户通过随机的 周期的或共谋进行欺骗评价来攻击或提升其他用户 导致了信任评价存在虚假信息 严重扰乱市场公平性 信任评价反映了评价者对服务提供者提供的产品或服务的质量 满意度等各方面的反 馈 一般来说 评价越高表示该产品或服务更值得信赖 因此 已有的评价可以为服务请 求者提供有效的借鉴及参考作用 可以帮助其在交易之前做出决策 然而 在实际交易过 程中 会存在部分恶意用户故意提供虚假的评价 对于服务提供者的诚实服务行为评价者 进行恶意的诋毁 或是服务提供者提供了不诚实的服务 而评价者与服务提供者共谋刻意 给出好评以提升服务提供者的信誉度 3 这些行为的存在 会导致其他用户得不到正确的 反馈信息从而做出错误的判断 致使信任系统无法正常发挥效用 还会进一步诱发其他的 不良行为 损害整个系统的健康运行和良性发展 信任预测为用户提供一种成功交易的概率 反映了服务提供者的行为的可信度 信任 预测成为一个研究热点 其对用户进行成功交易起到十分积极的作用 促进电子商务信用 体系的完善 传统的方法利用直接信任和间接信任的加权计算 对间接信任主要依据时间 历史和交易特征进行加权计算 忽视了信任评价动态变化趋势和内在本质 随着电子商务的快速发展和交易额不断上升 交易评价成为电子商务网站必备的功能 之一 随之产生海量的交易评价历史数据 成为衡量信任值的主要依据 4 一方面 如何 对这些海量的交易历史数据进行深入有效分析 如何识别和过滤其中的虚假评价 建立可 信的信任度计算模型 将成为电子商务的一个研究热点 另一方面 信任行为分析和预测 只有建立在可信的信任度模型基础上 才能为购物者提供可靠 准确的推荐信任度 保障 交易成功地进行 现有的研究方法主要是基于评价者的个性化因素 3 5 通过过滤部分与买家相似差异大 的评价者 或通过行为相似度来识别共谋团体 6 以检测共谋欺骗评价 一些电子商务网站 如 ebay 易趣网和淘宝网制定了一些规则来防止卖家用不真实的交易炒信 7 这些方法大 多都是从多维度信誉评分 引入加权累加或采纳函数来部分消除或抑制虚假的有风险的评 价 8 10 缺乏有效的数学理论和严密的数学模型支持 制约了基于海量数据的信任机制的 深入分析和理论方法突破 链路过滤和链路预测理论与方法针对由信任评价过程抽象出的 复杂网络 研究复杂网络的内在结构特征与外在行为 从而有可能有效地判断信任评价的 真实性和公平性 为信任行为预测奠定理论基础 也为可信的信任评价模型的构造提供理 论依据 1 2 研究进展 1 2 1 虚假评价过滤 评价者的恶意行为主要包括 夸大 诋毁和共谋 6 11 针对这些行为的识别与过滤 国内外的学者进行了大量的研究 Dellarocas 11 定义了2种恶意行为 填塞选票 ballot stuffing 和诽谤攻击 bad mouthing 使用聚类过滤的方法将评价者分为两类 诚实的和 不诚实的 最终信誉的计算将只使用诚实的评价者提供的评价值 Li Xiong 12 等人提出了 适用于电子社区的基于信誉的信任模型PeerTrust 该模型利用节点信任值或者节点之间评 价的相似性确定节点的可信度 计算推荐信任时赋予可信度较高的节点较大的权重 以此 减轻虚假评价带来的影响 她们提出的基于个人相似度的信任信息聚合方法 PSM personalized similarity metric 可以很好地应对虚假评价 但不能很好地应对共谋行为 及动态策略性欺骗行为 Whitby和J sang 13 等人利用Bayesian方法评估某个用户的评价与大 多数人评价的偏离程度 当偏离较大时就认为该用户的评价是不公平的 由于该算法采用 统计学方法 当评价信息较稀少或评价信息较分散时会影响到算法的准确性 14 Despotovic和Aberer等人 15 提出了利用最大似然估计法计算P2P环境下节点信任度的方法 为了提高估计的准确性 作者引入了节点撒谎度的概念 但没有给出撒谎度的具体计算方法 文献 16 的作者通过利用数值方法进行的验证发现 这种方法得到的估计值非0即1 难以准 确刻画节点的可信程度 窦文等人 17 在模型安全性方面对EigenRep进行了改进 考虑了冒 名 诋毁以及协调作弊的遏制 但只针对两节点勾结的问题进行了讨论 首先将当前评价 与以往评价进行对比 剔除差异过大的评价 其次对提交评价的频度进行检测 拒绝过于 频繁提交的评价 最后通过采用不同的权重系数 使得高信任值节点降低信任值和低信任 值节点增加信任值都变得相对困难 以抑制评价者的夸大和诋毁行为 识别用户的反馈评价是否是真实的主要通过评价者的可信度来衡量 可信度低的可以 通过采用较小的权重系数或直接将其过滤以减轻或消除虚假评价带来的不良影响 J sang 13 18 等人将虚假评价的处理归纳为内生的方法和外生的方法 内生的方法 Endogenous Discounting of Unfair Ratings 仅仅通过对评价值的比较分析来推断可信度 一般采用数理统计的方法识别虚假评价 采用该类方法的文献有 11 13 外生的方法 Exogenous Discounting of Unfair Ratings 依赖一些外部因素来进行判断 比如评价者的 信誉等 采用此类方法时认为信誉高的评价者会倾向于提供真实的信息 而信誉低的评价 者往往会提供虚假的信息 采用该类方法的文献有 12 17 现有的研究方法大多从多个维度对评价者进行过滤 根据用户之间的相似度 时间因 素 交易金额或交易次数进行考量 叶枫等人 3 提出了基于评价者过滤的个性化信任模型 通过买家与评价者之间的偏好相似度来衡量评价的可信度 从评价因素评分相似度 评价 因素评分权重相似度 平均评分 金额相似度三个方面来反映偏好相似程度 并比较各个 相似度与其平均相似度的大小以此来判断此评价者是否有效 若无效则将其过滤掉 否则 予以保留 谭振华等人 19 提出了基于多维历史向量的信任评价模型 考虑了时间因素 交 易额度 交易频度等对评价的影响 并通过节点之间的相关性信任度来衡量节点的可信程 度 姜守旭等人 16 为了确定节点所给评价的真实性 提出了一个节点评价的质量模型 并给 出了节点评价的可信度计算方法 石志国等人 20 讨论了基于时间窗的相似性 激励性以及 区分性 考虑了时间因素对信任评价的影响并有效解决了相似性计算中的稀疏性问题 上述研究主要针对识别单个用户是否提供了虚假评价 而如果多个恶意用户组成团体 共谋发起攻击 则造成的安全威胁可能更大 因此 苗光胜等人 6 21 对共谋团体的识别进 行了相关的研究 先后提出了基于行为相似度以及基于模糊逻辑的识别方法 基于行为相 似度的方法主要采用余弦相似性函数计算行为异常节点的行为相似度 如果行为相似度大 于某个阈值则认为他们共同组成一个共谋团体 基于模糊逻辑的方法是对前一个方法的改 进 考虑到相似性判断的模糊性 主观性及不确定性 引入了模糊逻辑和语言变量方法分 析节点之间行为的相似性 1 2 2 信任模型与信任预测 信任模型提供信任值的计算模型 信任预测提供成功进行交易的概率 信任模型的建 立是信任预测问题的基础 实际上 有些信任模型的已经具有一定的预测能力 为用户进 行交易提供参考 目前 该领域已进行了大量研究 所建立的信任模型大致可分为四类 即加权平均信任模型 模糊信任模型 概率信任模型 主观逻辑信任模型 J sang 模型 加权平均信任模型的方法是考虑不同的影响因素来计算评价的权重 然后进行加权计 算信任值 eBay 模型 22 的信誉值计算为简单累加 Giorgos 等人 23 对 eBay 模型进行改进 提出 Sporas 模型 但未考虑交易金额 近期信誉值 评价内容等因素对信誉值的影响 不 能有效地为在线消费者提供卖家相关信誉信息 针对上述信任模型的不足 学者们提出了 多种理论信任模型 Zhong Yuansheng 等人 24 通过最近消费 消费频率 消费金额方法来 计算买家的可信度 在计算相关权值时 使用问卷调查和层次分析法 但问卷调查法收集 到的信息具有一定的片面性 Abdul Rahman 25 提出基于信誉机制的信任模型 但此模型只 是采用单一数值表示信任度 难以准确地描述信任的多维特征 Li Xiong 等人 12 在计算买 家可信度时 采用卖家对买家的反馈评分求均值的方法 缺少对用户其他因素的考虑 难 以准确地反映买家可信度 Manchala 26 提出了基于模糊逻辑的信任模型 该模型使用模糊逻辑来合并信任矩阵并 核实事务 因此适用于交易实体 此外 该模型提出了可以用在电子商务中保护信任信息 所涉及的个人隐私的信任协议 张仕斌等人 27 提出的模糊自主信任模型引入模糊理论的隶 属度概念来描述信任的模糊性 解决了模糊信任的建模问题 该类方法能够解决不精确输 入问题 简化推理的复杂性 但是需要基于先验知识选择隶属函数 Beth 等人 28 提出了一个基于经验和概率统计解释的信任计算模型 模型将经验分为正 面和负面的两类 交易成功则正面经验计数增加 交易失败则负面经验计数增加 直接信 任定义为目标实体能成功完成交易的概率 基于贝叶斯理论的计算模型使用描述二项事件 满意 不满意 的后验概率 Beta 密度函数来记录信任评估结果 其可以描述为 Beta 其中 和 分别表示了信任评估中正面和负面的评估次数 信任度通常可以表示为 Beta 概率密度函数的概率期望 信任值的大小同目标节点提供满意服务的概率 也表达了目标 节点在网络中提供一定服务质量的能力 Wang 等人 29 使用了贝叶斯网络为不同条件下的 信任进行建模 贝叶斯理论为信任计算提供了可靠的理论基础 主观逻辑信任模型基于 D S 30 理论中信任函数概念 把不确定性度量引入到主观信任 的描述 并且构建了多种算子 能够较为方便地进行信任推理和综合计算 J sang 模型 31 32 扩展了概率理论 二值逻辑和概率逻辑 能够更好地刻画人类对信任的直观判断 得到 了广泛关注 观点和证据的映射关系是 J sang 模型的基础 但是 J sang 没有考虑不同事 件的证据差异 正面证据和负面证据的权重是一样的 这不利于惩罚恶意行为 针对 J sang 模型的缺点 又出现了一些 J sang 模型的改进模型 D Shafer 33 提出了 Dempster 聚合规则 但是它对极端对立观点的聚合结果不符合人类的直观判断 34 36 针对这一问题 J sang 提出新的聚合算子 然而其鲁棒性和计算精度不高 且计算比较复杂 WANG 和 SUN 简称 WS 模型 针对二元状态空间采用二元 Dempster 规则重新构建 J sang 模型聚 合算子 提高了算子的鲁棒性 该方法在二元状态空间能够取得满意的效果 但是在多元 状态空间中效果不佳 当实体不能直接对事件进行信任评价时 需要获取传递者的传递信 任评价 目前链路预测的研究主要针对用户的兴趣或者行为的相似性进行预测 仅提供一种商 品推荐服务 但没有考虑信任行为方面 未能提供对成功交易的预测 信任预测以链路预 测为基础 对服务提供者的信任行为进行预测 为用户进行成功交易提供决策指导 链路 预测的研究比较多 而信任预测的研究还不多见 迄今为止 人们针对不同的网络研究出了许多链路算法 R R Sarukkai 37 利用马尔科 夫链进行链路预测和路径分析 研究了提高万维网导航效率的方法 Zhu 38 等人将马尔科 夫链的方法拓展到对适应性网络的预测上 来研究网络的演化 除利用马尔科夫链来进行 链路预测外 还有一些方法利用节点的外部属性来作为预测的辅助条件 J Leskovec 39 等 人以在线社交网络为例研究了标号网络上的链路预测 其不仅预测了边的存在 同时 还 利用社交平衡理论预测了边的正负 Popescul 和 L H Ungar 40 则提出了一个逻辑回归模型 预测了文献引用网络的文献引用关系 复杂网络中的链路预测工作最早由 David Liben Nowell 和 JonKleinberg 41 在 2003 年完成 他们主要针对社会网络 总结了一系列的节点 节点相似度指标 用来预测网络演化过程中 已知节点间出现新链接的可能性 Clauset 42 等人注意到食物网络 新陈代谢网络 基因调控网络 社会网络等经常呈现出游层次的结 构 他们利用最大似然法构造出一个随机等级 Random Hierachical 网络 然后利用其拟 合真实的网络结构 从而达到对缺失链路进行预测的目的 他们的工作引起了根据网络拓 扑信息进行链路预测的热潮 吕琳媛 周涛等人 43 基于资源分配的物理思想提出了 RA Resource Allocation 指数 并且发现局部路径指数 LP Local Path Index 43 虽然 只利用了节点的局部拓扑信息 仍然获得了较高的预测精度 同时 计算复杂度又相对较 低 他们还研究了网络噪声对预测精度的影响 44 刘伟平等人 45 发现有限步随机游走指数 LRW Local Random Walk Index 也可获得较好的预测效果 Murata 和 Moriyasu 46 考虑边 的权重 在加权网络上做了先驱性工作 吕琳媛和周涛 47 发现了加权网络上的 弱链接效 应 即权重小的边可能在链路预测中起到更重要的作用 此外 其他的一些数学物理思想 方法也陆续借鉴到链路预测中来 Roger Guimera 和 Marta Sales Pardo 48 通过网络重建的 方法 首次讨论了网络中伪链接的问题 J Kunegis 49 等人利用谱变换的方法 研究了在二 部分网络上的链路预测 1 3 研究热点问题分析 综上所述 在电子商务领域 推荐系统一直是研究和开发人员关注的热点 推荐系统分 为以关注用户兴趣和个性化特点的产品推荐系统和以关注用户信任的推荐系统 目前 产 品推荐系统研究较多的是以链路预测理论为基础进行用户的相似性分析和推荐 对用户能 否进行成功交易则不予考虑 信任推荐系统则以动态信任模型为基础的用户信任度推荐 更关注用户的诚实可信 信任推荐系统以用户评价为基础 但虚假评价和恶意攻击导致信 任模型和预测的不准确 严重影响着其应用 因此 虚假评价过滤和信任行为预测成为研 究热点 其对用户进行成功交易起到十分积极的作用 促进电子商务信用体系的完善 传 统的方法利用直接信任和间接信任的加权计算 对间接信任主要依据时间历史和交易特征 进行加权计算 忽视了信任评价动态变化趋势和内在本质 链路过滤和预测理论针对由信 任评价过程抽象出的复杂网络 研究复杂网络的内在结构特征与外在行为 从而有可能有 效地判断信任评价的真实性和公平性 为信任行为预测奠定理论基础 将电子商务信任评价抽象为复杂网络 并构建统一的网络链路过滤与预测模型 将对 信任评价与管理机制研究开创一个新的思路 对信任评价模型与预测的核心理论问题的研 究具有重要价值和应用前景 这方面的研究对于链路过滤与链路预测以及复杂网络研究的 理论基础的建立和完善 可以起到推动和借鉴作用 参考文献 1 中国互联网网络信息中心 CNNIC 第 31 次互联网发展状况统计报告 2012 12 2 中国电子商务研究中心 2011 2012 年度中国电子商务市场系列数据报告 2012 12 3 叶枫 吴善滨 基于评价者过滤的个性化信任模型 管理工程学报 2012 26 3 80 87 4 Mui L Mohtashemi Mojdeh A computational model of trust and reputation for E businesses In Proceedings of the 35th Annual Hawaii International Conference on System Sciences Washington DC USA IEEE Computer Society 2002 188 195 5 李聪 梁昌勇 面向 C2C 电子商务的多维信誉评价模型 管理学报 2012 9 2 204 211 6 苗光胜 冯登国 苏璞睿 P2P 信任模型中基于行为相似度的共谋团体识别模型 通信学报 2012 30 8 9 20 7 李维安 吴德胜 徐皓 网上交易中的声誉机制 来自淘宝网的证据 南开管理评论 2007 10 5 36 46 8 郭洪海 姜锦虎 蔡涵 C2C 电子社区成员信誉值的计算模型研究 管理学报 2009 6 8 413 417 9 纪淑娴 胡培 程飞 在线信誉管理系统中信用度计算模型研究 预测 2008 27 4 59 65 10 徐育雄 窦万峰 融合采纳函数的动态信任度测模型 小型微型计算机系统 2012 33 2 237 243 11 Dellarocas C Immunizing Online Reputation Reporting Systems Against Unfair Ratings and Discriminatory Behavior Proc Of ACM Conference on Electronic Commerce ACM Press 2000 150 157 12 Xiong L Liu L PeerTrust Supporting reputation based trust for Peer to Peer electronic communities IEEE Transactions on Knowledge Data Engineering 2004 16 7 843 857 13 Withby A Jisang A Indulska J Filtering out unfair ratings in Bayesian reputation systems Proceedings of the 7th International Workshop on Trust in Agent Societies Utrecht Neth erlands 2004 14 李勇军 代亚非 对等网络信任机制研究 计算机学报 2010 33 3 390 405 15 Despotovic Z Aberer K Maximum likelihood estimation of peers performance in P2P networks In Proc of the 2nd Workshop on the Economics of Peer to Peer Systems Cambridge Harvard University 2004 1 9 16 姜守旭 李建中 一种 P2P 电子商务系统中基于声誉的信任机制 软件学报 2007 18 10 2551 2563 17 窦文 王怀民 贾焰 邹鹏 构造基于推荐的 Peer to Peer 环境下的 Trust 模型 软件学报 2004 15 4 571 583 18 Audun J Roslan I Colin B A survey of trust and reputation systems for online service provision Decision Support Systems 2007 43 2 618 644 19 谭振华 王兴伟 程维 常桂然 朱志良 基于多维历史向量的 P2P 分布式信任评价模型 计 算机学报 2010 09 1725 1735 20 石志国 刘冀伟 王志良 基于时间窗反馈机制的动态 P2P 信任模型 通信学报 2010 31 2 120 129 21 苗光胜 冯登国 苏璞睿 P2P 信任模型中基于模糊逻辑的共谋团体识别方法 计算机研究 与发展 2011 48 12 2187 2200 22 eBay EB OL 2011 12 11 http www eB 23 Giorgos Z Collaborative Reputation Mechanism in Electronic Marketplaces Decision Support System 2000 33 12 371 388 24 Zhong Y S Xiong J Y Measuring Feedback Credibility by Customer Value in C2C Trust Mode Information Technology Journal 2011 10 13 2329 2335 25 Abdul Rahman A Supporting Trust in Virtual Communities Proceeding of the 33rd Hawaii International Conference on System Sciences Hawaii USA 2000 26 Manchala D W Trust Metrics Models and Protocols for Electronic Commerce Transactions Proc of 18th Int l Conf on Distributed Computing Systems 1998 312 32 27 张仕斌 刘全 曾鸿 基于开放式网络环境的模糊自主信任模型 清华大学学报 自然科学 版 2006 46 S1 1109 1114 28 Beth T Borcherding M B Klein Valuation of trust in open networks Proceedings the European Symposium on Research in Computer Security Springer Verlag Brighton Uk 1994 3 18 29 Wang Y Uassileva J Bayesian Network Based Trust Model Proceedings of IEEE WIC International Conference on Intelligence WI20003 Halifax Canada October 2003 13 17 30 Shafer G A mathematical theory of evidence New Jersey Princeton University Press 1976 31 J sang A Ismail R The beta reputation system Proc of the 15th Bled Conf on Electronic Commerce Bled 2002 17 19 32 J sang A Cumulative Averaging Unfusion of Beliefs In The Proceedings of the International Conference on Information Processing and Management of Uncertainty IPMU2008 Malaga June 2008 33 Shafer G A mathematical theory of evidence New Jersey Princeton University Press 1976 34 J sang A The Consensus Operator for Combining Beliefs Artificial Intelligence Journal 142 1 2 157 170 October 2002 35 Zadeh L A Review of Shafer s A Mathematical Theory of Evidence AI Magazine 1984 5 81 83 36 Cohen M S An expert system framework for non monotonic reasoning about probabilistic assumptions In L N Kanal and J F Lemmer editors Uncertainty in Artificial Intelligence 1 North Holland 1986 37 SARUKKAI R R Link prediction and path analysis using markov chains J Computer Networks 2000 33 1 6 377 386 38 ZHU J HONG J HUGHES J G Using markov chains for link prediction in adaptive web site J Lect Notes Comput Sci 2002 2311 60 73 39 Leskovec J Huttenlocher D Kleinberg J Predicting positive and negative links in online social networks Proc www 2010 ACM New York 2010 40 Popescul A Ungar L Statistical relational learning for lin prediciton Proc Workshop on learning statistical models for relational data ACM Press New York 2003 81 88 41 Liben Nowell D Kleinberg J The link prediction problem for social networks Proceedings of the Twelfth Annual ACM International Conference on Information and Knowledge Management CIKM 03 November 2003 556 559 42 Cluaset A Moore C Newman M E J Hierarchical structure and the prediction of missing links in networks Nature 2008 453 98 101 43 Zhou T L L Zhang Y C Predicting Missing links via Local Information Eur Phys J B 2009 71 623 630 44 L L Jin C H Zhou T Similarity index based on local paths for link prediction of complex networks Phys Rev E 2009 80 046122 046131 45 Liu W P L L Link prediction based on local random walk Europhys Lett 2010 89 58007 58013 46 Murata T Moriyasu S Link prediction of social networks based on weighted proximity measures ACM International Conference on Web Intelligence 2007 47 L L Zhou T Link prediction in weighted networks the role of weak ties Europhys Lett 2010 89 18001 18006 48 Guimera R Sales Pardo M Missing and spurious interactions and the reconstruction of complex networks Proc Natl Acad Sci 2009 106 22073 22078 49 Kunegis J De Luca E W Albayrak S The link prediction problem in bipartite networks arXiv cs LG 2010 1006 5367v1 2 项目的研究内容 研究目标 拟解决的关键科学问题 2 1 研究内容 将电子商务信任评价与行为预测抽象为一个复杂网络 用节点代表交易双方信任评价 边代表评价过程 整个网络则成为一个交易信任评价动态网络 通过网络的内在结构特征 和演化规律可为构建可信的信任评价模型与平台 以及用户信任行为预测建立理论依据 其中 链路过滤和链路预测是两个关键的科学问题 对它们的研究可大大推动信任评价与 预测的理论发展 本项目试图在理论 算法和应用三个层面全面推进该方向的研究 1 基于信任评价欺骗相似性框架的链路过滤方法研究 基于相似性框架的链路过滤算法研究还不多见 没有相关理论基础方面的讨论 本项 目拟利用相似性分析 聚类理论和评价网络链路频度变化 建立链路过滤的虚假评价识别 与过滤框架的理论基础 并在这个框架下进行欺骗评价链路的识别 评价者相似性分析 聚类分析和过滤机制 该方面的主要研究内容有 欺骗评价网络链路特征分析与建模 基于欺骗评价网络链路结构特征的链路识别 欺骗评价的评价者相似性分析方法 评价者个性特征的聚类分析方法 链路过滤机制与策略研究 2 基于链路预测思想的信任评价复杂网络演化模型 链路预测思想可以精确地评价与建立不同演化模型平台 对信任行为预测有重要的理 论指导 本项目拟基于链路预测思路 构建信用评价网络的演化模型及其平台 以在线社 会网络与电子商务网络的真实数据为基础 全面分析基于这两类网络的演化模型 在统一 的平台上进行评估和分析 推动链路预测理论的发展与应用 该方面的研究内容主要包括 基于复杂网络的电子商务交易网络演化机制 电子商务交易网络和信任评价网络的级联演化机制 信任评价网络链路预测评估体系和评价平台研究 基于最大似然相似框架的链路预测理论与方法研究 3 信任预测方法和可信的信任评价模型研究 基于上述的链路过滤机制的研究结果 建立可信的信任评价模型 尽管有关信任模型 的研究已经有很多的报道和成果 但是目前还没有统一有效地成功应用案例 不同的评价 模型仅针对特定的方面进行构建 未形成较为完善的理论体系 本项目试图从复杂网络的 演化的机制上 研究信任评价网络的结构特征 建立可信的动态信任评价模型 并基于链 路预测结果 以真实的大规模的在线社会网络和电子商务网络数据为基础 构建信任行为 预测模型与方法 为信任行为预测建立新的理论体系 该方面的研究内容包括 链路预测的算法性能及预测结果分析 基于马尔科夫链的信任行为预测理论与方法 基于最大似然相似的信任行为预测模型与方法 可信的信任评价模型研究 2 2 研究目标 本项目围绕电子商务信任评价网络分析的两个关键问题 即链路过滤和链路预测 开 展研究 旨在解决信任评价中的虚假评价的识别与过滤 构建可信的信任计算模型和信任 行为预测等热点问题 本项目拟达到以下研究目标 1 构建电子商务的信任评价网络理论体系和链路过滤与预测理论基础体系 将信任 评价动态过程与模型整合 构建统一的信任评价网络链路模型 进而建立链路过滤机制和 信任行为预测模型 在这个理论基础上 给出如何高效率的评估各种预测性能和过滤准确 性 并为含参数的指标设计出快速寻找最优参数的方案 2 利用链路过滤和链路预测思想建立信用评价复杂网络演化模型的评价平台 建立 简洁统一的评估框架 依据信任评价时间历史和交易历史数据构建的复杂信任评价网络的 有向网络 含权网络和多部分网络 根据演化模型规则和参数 按照预测精度自动评估网 络演化模型的可信度 3 构建基于可信的信任评价与预测模型的信任管理机制与系统 构建一个真实在线 电子商务信任评价网络 实现相关的链路过滤算法 链路预测算法 以及信任评价模型 利用交易信任评价历史数据检验模型与算法的可行性 并确立相关的参数与指标 建立相 应的应用平台 2 3 拟解决的关键科学问题 将电子商务交易过程和信任评价过程按照图论理论抽象为一个复杂网络 包括有向网 络 加权网络和多部分标记网络 成为本项目的一个理论创新 其中关键科学问题有 1 虚假评价链路过滤问题的理论基础 针对电子商务信任评价复杂网络 欺骗评价 过滤可以用链路过滤思想来研究 其思想是分析链路的结构特征和主要参数 识别出可能 的欺骗链路 并通过个性化评价者社会网络分析 利用相似性指标准确估计欺骗评价发生 的频度 进而提出合适的过滤方法 因此链路过滤是欺骗评价识别与过滤的核心问题 对 其方法的研究对建立可信的信任评价模型具有重要的理论意义和应用价值 2 链路预测的理论基础 针对电子商务信任评价网络 其网络动态特性和演化是一 个重要问题 对其研究可以有效解决信任评价网络演化和用户信任行为预测问题 从而帮 助用户交易前的重大决策 链路预测根据相似性框架和网络结构特征预测未来交易可发生 性 即链路生成预测 在假设某个相似性可以反映某种内在的连接倾向的前提下 可以计 算特定网络在节点数和边数不变的情况下 恰好出现观察到的结构相似性 当然 在这种 理论框架下的最大的相似性指标是否就对应于预测最精确的指标 还需要大量实验支持和 深入研究 3 可信的信任模型 构建可信的信任模型是电子商务信任推荐系统的必然要求 也 是信任预测的基础 现有的信任模型采用各种方式降低或过滤部分虚假评价进行信任值计 算 未能彻底地清除所有虚假评价 只有识别出欺骗链路 并过滤掉这些欺骗评价 剔除 掉这些欺骗评价后所得到的评价结果 才能建立可信的信任模型 考虑到信任模型是一个 动态计算模型 其不但要考虑多方面因素 包括直接信任和推荐信任 同时要考虑交易历 史 交易商品属性等要素进行综合计算 3 拟采取的研究方案和可行性分析 3 1 研究方案 本项目将电子商务信任评价过程抽象为基于图论理论的复杂网络 进而运用图论理论 和复杂网络的理论去研究网络的内在特征 并由此解决链路过滤和链路预测的理论核心问 题 为电子商务信任虚假评价识别与过滤 可信的信任模型构建和用户信任行为预测建立 理论依据 本项目的研究方案及技术路线概括如图 1 所示 文献阅读和核心问题凝练 基于信任的复杂网络建模和演化研究基于信任的复杂网络建模和演化研究 构建信任评价过滤网络模型构建信任预测网络模型 虚假评价的链路特征模型 可信的信任模型 链路过滤链路过滤 链 路 特 征 模 型 虚假评价链路检测 欺骗链路特征抽取 相似性和聚类分析 欺骗链路过滤方法 链路预测链路预测 可 信 信 任 模 型 信任行为特征分析 最大似然相似方法 相似性信任预测 马尔科夫链路预测 实验研究实验研究 共谋欺骗检测与过滤 随机欺骗检测与过滤 正向链路预测和反向链路预测 研究工作总结 交易网络和评价网络级联关系 分析 图 1 研究方法与技术路线 3 1 1 基于图论的信任复杂网络演化模型研究 信任评价和信任计算是电子商务信任系统两个主要的问题 本项目分别从信任评价和 信任度计算两个角度构建网络演化模型 并进行特征分析 1 复杂网络建模及其级联关系研究 一个 C2C 电子商务网站 如淘宝网等拥有百万级以上的用户 每天的交易成千上万 交易记录形成海量的大数据 对这些数据进行分析 研究其中的发展 演化和个性化特征 以便提供个性化服务和挖掘新的商业模式 以及监管等具有重要的意义 为了深入分析这 些问题 我们利用数学图论理论构建电子商务交易网络 如图 2 所示 其中 节点代表买 家或卖家 边代表交易关系 其上的数字表示交易次数 可以看出 这个网络是一个具有 异构性加权网络 其演化特征与内在本质的研究对于电子商务的应用 预测 服务和管理 策略制定意义重大 图 2 电子商务交易网络 对于电子商务交易信任评价是一个包含买卖两方两类节点的网络 每个卖家拥有少则 成百上千 多则成千上万的交易评价 而买家也有成百上千的交易记录评价 这些评价必 然是一个具有大数据特点的复杂网络 为了使得问题简化 我们针对每一个卖家 可以将与该卖家的交易评价按照时间关系 组成一个单链网络 如图 3 所示 其中 每一个节点代表依次评价 节点的属性包括评价 者身份 评价等级和评价商品属性等 边代表交易评价间隔 用边的长度表示 为了说明 问题 我们利用每一个卖家所获得的评价构成该卖家的评价链路 链路上的节点代表一次 评价 节点的属性包括评价者身份 评价等级和评价商品属性等 节点之间的距离代表两 次评价之间的时间间隔 在此 出于简化问题的需要 我们将链路简化为如图 3 所示的简 单链路 图中的每一条链路仅涉及一对买卖双方 涉及多个买家的问题也用相同的方法解 决 空心圆代表真实评价 实心圆代表虚假评价 图 3 中 链路 A 代表了共谋欺骗情况 链路 B 代表周期性欺骗的情况 链路 C 代表了随机欺骗的情况 12345 路 路 A 路 路 B 路 路 C 图 3 信用评价网络链路 电子商务交易网络以用户为中心描述交易特征 而信用评价网络则以信用评价时间结 点为中心刻画交易动态变化趋势 二者相互影响 本项目将深入研究这个的内在关系 建 立他们之间的级联关系及其演化机制 为网络特征建模打下基础 2 信用评价链路特征模型 根据现有信用评价机制 其信用值的计算方法大多采用累计的方法 由于基于信用评 价的信任度计算 其准确性存在较大的误差甚至错误 尤其是评价中存在许多的虚假评价 和恶意评价 因此 识别与过滤这些欺骗评价将是一个核心问题 针对上述问题 本项目将研究信用评价网络链路特征 分别构建正常评价 欺骗评价 的链路特征 建立链路特征模型 同时 本项目对链路进行时间间隔进行标定 依据链路 变化频度构建随机欺骗链路特征模型 共谋链路特征模型 周期性诋毁链路特征模型 3 可信的信任度计算模型 识别出欺骗链路 并过滤掉这些欺骗评价 剔除掉这些欺骗评价后所得到的评价结果 可建立可信的信任模型 考虑到信任模型是一个动态变化计算模型 其要考虑多方面因素 包括直接