产品评论垃圾识别研究综述.docx

产品评论垃圾识别研究综述*聂卉王佳佳(中山大学资讯管理学院 广州 510006)摘要: 【目的】对在线产品评论垃圾识别的研究工作进行梳理, 总结研究现状, 明确发展方向。【文献范围】从CNKI 及 Google Scholar 中以“评论垃圾”、“review/opinion spam” 等为检索词筛选获得国内外近 50 篇相关文献。【方法】采用文献分析法。界定产品评论垃圾的概念, 明晰评论垃圾所属的研究范畴; 总结产品评论垃圾识别研 究中的关键问题及研究进展。【结果】产品评论垃圾指故意过分吹捧或贬低某种产品的不真实评论以及不包含任 何有益成分的非相关在线网络评论。研究中存在虚假评论标注集难获取的问题, 强调评论人行为特征的分析, 提 出融合评论人特征来解决评论垃圾识别的研究思路。【局限】应结合产品评论垃圾的识别对用户评论可信度进行 更深入的分析。【结论】评论垃圾识别是评论可信性研究的应用体现。辩识评论内容的真伪要充分挖掘评论内容、评论人等多个维度的识别特征。同时, 考虑到众多特征的相互独立性, 应挖掘有显著影响作用的特征因素。关键词: 评论垃圾分类号: TP391评论可信度评论有用性用性”及“review spam”“fake review”“review credibi-lity”“review helpfulness”等为主题在 CNKI 和 Google Scholar 中检索, 筛选出近 50 篇中外目标文献。文献 显示, 该主题从 2007 年开始被关注, 国外研究成果 较多。本文综合国内外已有研究成果, 界定“评论垃圾” 的概念, 从评论可信度、评论有用性的角度梳理评论 垃圾的识别研究, 探讨可信度、有用性与评论垃圾问 题的关联, 明确评论垃圾所属的研究范畴。从实践角 度, 总结研究中的关键问题和实现方法, 重申评论垃 圾识别研究的重要意义, 以期对相关工作的开展和研 究提供借鉴。1引言Web2.0 的出现使人们由单纯的网络信息接受者 转向信息贡献和创造者。截至 2013 年 6 月, 至少 5.91 亿1网民在创造各种网络信息。尤其是电子商务的发 展, 促使在线用户评论数量急剧增长, 成为人们上网 购物寻求参考信息的重要渠道。购买商品或消费前, 用户往往会查看相关评论信息, 如果评价积极, 消费 者的购买意向可能就大。因而随着网络应用的不断深 入, 在线“网络口碑”对商品销量及商家名誉的影响 力越来越大。某些组织或个人在各种利益的驱动下开 始利用网络信息监管的缺失, 弄虚作假, 制造评论垃 圾混淆视听误导用户。清除网络垃圾, 净化网络环境, 为人们提供一个真实可信的信息获取平台的需求日 益迫切。以“评论垃圾”“产品评论”“评论可信度”“评论有2评论垃圾的界定网页垃圾和邮件垃圾是先于“评论垃圾”的概念。 网页垃圾源自搜索引擎优化 (Search Engine收稿日期: 2013-11-15收修改稿日期: 2013-12-18*本文系广东省哲学社会科学“十二五”规划 2013 年度项目“基于情境和用户感知的知识推荐机制研究”(项目编号: CD13CTS01)的研究成 果之一。XIANDAI TUSHU QINGBAO JISHU 63 Optimization, SEO)。其目的是通过提供更多有效信息提高网站质量, 提升网站排名。但有的 SEO 却在制造 垃圾, 以此为网页获得不公正的相关性和重要性2,3。 垃圾邮件可以认为是一类“不请自来”、匿名、带有商 业或宣传目的, 且对收件人形成骚扰的 E-mail 形式的 网络资讯4,5。包括网页和邮件在内的资讯垃圾, 从信 息价值的角度看, 有违信息的真实有效性, 甚至有恶 意特质。现在, 由于电子商务和 Web2.0 不断深入, 用 户生成内容 充斥网络世 界 , 一类新的 “ 垃圾资 讯”“产品评论垃圾”逐渐涌现。据实验数据预测6, 产品评论垃圾几乎可以占到评论总数的一半, 可见其 巨大的干扰力和误导力。“产品评论垃圾”有明显的恶性商业竞争特质。研 究者从 4 个不同的视角界定概念, 如表 1 所示:表 1评论垃圾的界定此, 邮件用户期待垃圾的高判准率, 而评论阅读者期待高判全率。(2) 特征选取的差异。网页和邮件垃圾直观传递 垃圾信息, 不忌讳被用户看穿其垃圾本质, 因而内容 上不会有大量掩盖和修饰。网页垃圾检测中多选取词 量、词长、锚文本比例等16浅层文体特征, 较少考虑 语义层面。但评论垃圾具有乱真的目的性, 评论内容 常被精心掩饰。此时, 浅层的文体特征不足以辨别评 论的信用本质, 辨别评论垃圾性的特征的选取更具 多元化, 不仅考虑语言层面的特点, 更要深入到评论 的语义内容, 甚至需要探讨评论人信用等外部特征 因素。同属垃圾资讯, 网页、邮件和评论有相通之处, 网 页和邮件垃圾的识别开展较早, 为评论垃圾识别提供 较多可借鉴的成果。但评论垃圾的独特性, 又使其识 别研究有别于前两者。提升自家产品和服务或者分散竞争对手顾客的在线评论7-103评论可信度和效用可信度源自大众传播领域, 指信息被信任的程 度。相应地, 评论可信度被认为是评论人提供的信息 被接收者认可的程度。在研究中, 可信度反映可信赖、 正确、客观等特质, 由于主要依据主观判断, 因而多采 用问卷方式进行测度。可信度研究主要探测与评论可 信度关联的影响因素, 如表 2 所示:表 2评论可信度影响因素的解释存在目的表现形式不值得的积极评论或者不负责任的消极评论8,11欺骗性评论10,12性质非评论6,13-15类型不真实的评论; 非商品本身的评论;其中, 不真实评论指故意吹捧或诋毁的评价, 非商品本身的评论只表达对品牌、商家的观点, 非评论 则专指广告、提问等一类非观点型的文本。对产品评 论垃圾的界定直接影响识辨的方法, 研究者往往从多 个视角综合给出概念。对产品评论垃圾, 笔者认为它 是指故意过分吹捧或过分贬低某种产品的不真实评论 以及不包含任何有益成分的非相关在线网络评论。对于垃圾资讯, 研究集中在对其如何辨识, 这 其实是一个文本分类问题, 通过检测有效的识别特 征, 区分“垃圾资讯”和“有价值资讯”。但网页、邮件 和评论的应用点不同, 导致分类标准及特征选择存 在差异。(1) 检测标准的差异。邮件作为通信工具, 涉及 用户极重要的信息, 邮件用户宁愿接收到垃圾, 也 不愿遗漏正常邮件。而评论阅读者本身就对是否做 出购买存在迟疑, 他们更愿意接受真正具有参考价 值并且能够减少决策不定性的评论信息, 而不希望 获取不能确定真实性的评论来增加决策的负担。因有影响17-19有影响20,21 有影响22-24评论者资信评论内容质量 信息类型一致信息长度评论传播者与接收者 关系强度正相关22, 无影响23,24不一致2224,25有影响 , 无影响可信度研究一致认为评论者资信、信息内容质量等对可信度有影响; 但在信息长度、传播者与接收者 关系强度的作用上存在不同意见。宫明亮22发现评论 文本越长可信度越高, 而孙春华等23和丁学君24的研 究却得出信息长度对评论可信度无显著影响。结论的 差异与问卷调查对象有关, 宫明亮以所有网购用户为 对象, 而孙春华等和丁学君的研究对象仅限于大学 生。除了通过问卷调查来分析浅层的文本特征和评论 64现代图书情报技术结论一致性变量对评论可信度的作用界定角度具体界定情报分析与研究总第 243 期2014 年第 2 期人特征, 最新研究提出了基于文本内容的商品评论可信度测评模型26, 评论的语义特征得到关注, 评论信 息可信度研究进入了更深层次的探索。国外研究较国 内研究更细化, 采用分组对照, 发现只有匿名评论的 情感倾向才会对可信度产生影响27; 按照购买和使用 之后能否确定产品属性, 将产品分为体验型和信任型, 分析得出体验型产品中情感倾向对可信度无影响28。另外, “一致性”对可信度的作用在国外得以关注, 评 论与评分一致性越高, 评论可信度越高29; 评论间的象密切相关。在解释模型的基础上, 深层次研究进一步探索预 测模型, 比如预测评论效用价值, 提供基于效用价值 的排序推荐39。由表 3 注意到, 用户情感对评论效用 影响的结论具有不一致性, 这与实际经验相印证。因 为效用因人而异, 一条评论给不同的用户做参考时, 用户衡量它的效用所考虑的因素, 会视用户自身需求 呈现个性化。笔者认为, 以需求为基础, 针对不同个性 化群组研究评论的效用价值会更有意义。从排序推荐 的个性化信息服务思想出发, 将效用推荐由粗粒度层 面延伸至细粒度层面, 结合不同用户群体的偏好, 差 异化预测效用排序。比如, 根据各评论的被关注特征 将评论聚为不同簇, 不同的聚类代表拥有不同需求的 用户群, 以各用户群重点关注的特征作为量化指标, 实现细粒度效用推荐40。分析看出, 评论有用性和评论可信度是两个相 近的研究, 二者均考量评论质量, 既相交叠又各具特 点。评论可信度强调的是评论真伪性的辨别, 而有用 性研究则关注评论的效用价值。应该说, 可信度的工 作应在有用性之前, 因为只有真实可信的东西才有 研究其效用的必要。而评论垃圾的识别, 应基于评论 的可信度分析。结合二者的研究思路是, 通过可信度 分析识别并剔除评论垃圾, 提取真实评论再评估效 用, 依据预测的效用价值对评论排名, 或者完成个性 化评论推荐。但目前, 国内众多研究中, 有用性与可 信度研究的区分尚没有足够清晰, 尤其在辨识特征 的确立上存在多项交叉, 因此, 评论垃圾辨识特征及 评论效用特征的研究都需要更多的探讨, 以选择和 发掘具有更高辨识度的特征属性。可信度越高30-32等。一致性越高,可见, 影响评论可信度的因素是多重的、复杂的。不同的研究对象、不同的特征组合, 得到的结论可能 不一致, 这说明以实际问题为立足点来探索可信度影 响的解释模型, 才能进一步明确切实可行的可信度预 测模型。同时, 从信息的生成者、信息内容及信息接 收者多个层面探讨影响评论可信度的因素, 能够更好 地为评论垃圾识别的特征选择提供理论依据。有用评论是对读者有潜在帮助的评论33。其效用 研究从有用性影响因素和基于效用的推荐排名两方面 展开, 一般以有用性投票与总投票数的比值测度效用 价值。从评论内容、评论者信誉中提取多个维度的变 量解释影响评论效用的主要原因。由于研究对象和方 法的差异, 再加上自然语言本身的复杂性, 对评论情 感强度、主客观性等因素作用的解释不一致, 如表 3所示:表 3评论有用性影响因素的解释负向影响34,35正向影响36 正向影响37评分偏差评论者排名和活跃程度 评论深度及内容丰富性情感强度 评论主观性一致4评论垃圾的识别研究评论垃圾辨识可视为一种典型的分类任务, 分三 部分: 明确评论语料; 选择表征评论的特征; 分类测 试及评估。4.1研究对象识别评论垃圾是可信度研究的直接目标, 通过对 可信度的评估, 辨识虚假评论。最早开展相关研究的 是 Jindal 等13, 以 Amazon 上的评论数据为对象, 涉及 负向影响37,正向影响35,无影响38负向影响38不一致归结原因, 文献37以在线评分测度情感且以 Amazon数据为研究对象, 文献38则以被调查者的 评分为依据, 并选取国内京东、卓越亚马逊和当当网 的数据为研究对象。语言特征及目标基准选择的不同 导致结论的差异。对体验型商品图书的分析认为 评论内容包含的主观性因素越强, 效用价值越大35, 而针对更广泛的研究对象, 则得出个人主观感受负面 影响评论效用38, 这说明了影响因素的作用与研究对 /.XIANDAI TUSHU QINGBAO JISHU 65 结论一致性变量对评论有用性的作用多种产品, 并在可共享的语料库上进行实验。共享数据集源自 Amazon 的原始评论, 抽取了评论相关的 8 个属性, 包括产品 ID(Product ID)、评论者 ID(Reviewer ID)、评价星级(Rating)、评价时间(Date)、评论标题 (Review Title)、评论的文本内容(Review Body)、有用 响应值(Number of Helpful Feedbacks)、响应数(Number of Feedbacks)等信息。除了电子商务网站中的评论信 息, 国外亦有部分研究的实验数据源自专业的第三方 点评网, 特别是针对餐饮和酒店的服务评价。例如, Ott表 5评论垃圾识别的特征选择和识别方法内容特征(Content)情感特征(Sentiment)Nave Bayes NB-Bootstr- apping评论特征文献11产品特征(Product)评论人特征评论人的个人特性(Profile)评论人行为特征(Behavior)词性(POS)评论内容与Nave Bayes SVM基于 LIWC的特征n-gram 特征文献12语言特征等12采集TripAdvisor上最受欢迎的前 20 家旅馆评评论特征包括评论长度、文本内容相似度、时间等论, 从文本分类、心理学、流派识别三个角度分析评论的垃圾性特征, 建立多种分类器并对比分类的性能 进行评估。Mukherjee 等41利用 Yelp上的餐馆点评数 据对该网站自身的垃圾过滤系统进行分析, 期望可以 发现一些有益规则为垃圾识别工作所用。国内研究的数据对象集中在图书及数码产品, 服务行业的评价未评论特征评论人特征主要是行为特评论人特征征, 如发表的评论数Logistic Regression文献13产品特征产品特征涉及产品的价格、销售率等n-gram 特征基于 LIWC 的特征 语法特征(Deep Syntax) 词性特征(POS) 评论人行为特征(SpammingBehavior )评论内容评论人文献41SVM涉及。各研究分别使用自己临时获取的数据,成可共享的数据资源, 如表 4 所示:尚未形表 4国内外评论垃圾研究领域对比主要指行为特征, 主要包括评论的内容相似度、最大评聚类论数等; 评论偏差、评论的重复率等文献44评论人TripAdvisor文献12旅馆图书、音乐 及其他制造产品文献13Amazon国外LIWC 的特征, 查准率可达近 90%12 。LIWC 反映与心理学相关的一组语言特征, 在识别欺骗型评论的任 务中发挥了效用。对于评论的主观特征, 情感分析被 引入, 经验表明, 如果评论的主观表现过于吹捧或者 蓄意诋毁, 则极可能是垃圾, 情感分析探测评论内容 的主客观度和褒贬性, 利用情感词汇的极性进行测度, 但文献11的研究结论表明情感因素对辨识欺骗型评 论的作用并不显著, 因为欺骗型评论的识别是真伪的 辨别, 如果刻意虚构评论, 则并不容易从单纯的情感 词中辨识区分标准。研究指出, 仅从评论内容中提取 识别虚假性评论的特征, 辨识效果往往并不十分理YelpTripAdvisor文献41旅馆、餐馆文献42旅馆文献6文献8文献9文献10文献43淘宝、新浪等相机图书卓越亚马逊国内当当网图书、摄影摄像品Amazon制造品Amazon手机、数码相机特征选择识别评论垃圾的关键是提取表征评论的特征。特 别是采用机器学习方法, 对特征选择需进行深入研究, 如表 5 所示。目前, 识别评论垃圾的特征选取主要从评论内容 和评论人两个方面考虑。评论内容特征反映评论质量 和可信度。从内容和文体的角度分析, 许多研究采用 了词性(POS) 以及 n 元文法( n-gram)。一元文法 (Unigrams)和二元文法(Bigrams)较常用, 结合基于4.2 /. /. /. /. LIWC: 由 Linguistic Inquiry and Word Count (LIWC) 软件 生成的特征, 可用于探测语言欺骗性, 涉及 80 个具有心理学含义的 特征维度共计 4 500 个关键词。 66现代图书情报技术相关文献数据来源产品类型相关特征选择说明方法文献情报分析与研究总第 243 期2014 年第 2 期想。评论人特征因而被关注。因为评论人特征反映评论撰写者的个人信誉和行为, 通过探测评论人特征, 特别其行为表现可以非常准确地预测其发表评论的真 伪。评论人的行为特征可表现为其发文量, 发表内容 的雷同度, 发表时间以及其评价与大众评价值的偏差 等一系列特征因素。文献41面向 Yelp 中的真实数据, 特别比较了基于内容特征和基于评论人特征的虚假性 评论垃圾的识别效果, 发现基于评论人特征的识别效 果更优。而文献11也指出对虚假性评论的辨别, 评论 人的行为特征是评论语言特征的重要补充。通过分析 评论人的行为判断其是否为评论垃圾的制造者, 间接 识别其发表评论的价值。相关研究11,14,15探讨的评论 人特征经检验10都具有显著影响作用, 为评论人特征 在识别模型中的有效性提供了重要依据。笔者也认为单纯采用内容或行为特征构建的评 论垃圾识别模型会导致辨别信息的丢失和遗漏, 将 两方面特征融合可获得更优效果。而另一方面, 对分 类问题, 往往分类特征越全面, 整体效果越好。但众 多特征间存在约束, 可能导致以特征相互独立为前 提的分类器的效率降低。所以, 特征并非越多越好, 应增加显著性检验10, 筛选出贡献较大且不相互依 赖的表征特征, 从而提升模型的稳定性和效率。4.3 识别方法识别评论垃圾的主流方法之一是利用可指导的机 器学习方案11-13,15。但对于机器学习方法, 识别的准确 率往往取决于用于构建分类器的标注集。然而, 对虚 假评论, 人工给出的标注结果带有较大随机性, 很难 通过人工阅读来准确判断评论的真实性, 因而研究中 最困难的是获取标准的针对虚假评论的标注集。大部 分研究工作采用了近似方案来标注虚假评论。如文献 13取雷同或近似雷同的评论作为虚假评论, 文献16 采 用人工标注 , 文献 12 则利用了 AMT(Amazon Mechanical Turk)生成虚假评论, 并结合人工标注生成 训练集。尽管采取了一系列的处理和选择的方法, 但 标注的数据集都存在可靠性问题。如, 文献12的研究 在 AMT 模拟的虚假评论数据集上有很好的表现, 但 在真实的商业数据集 (Yelp 的评论数据)中, 识别效果 却并不理想41。因为 AMT 虚构的评论垃圾并不能探测出评论垃圾发布人的真实目的, 无法模拟出其真实 的心理状态。可见, 如果标注集的真实性不能得到保证, 那么评论垃圾辨识就失去了参照和基准, 结果便不具备信服力。有指导的分类方法在评论垃圾识别上 有一定局限, 要想在传统机器学习分类器上有所突破, 高质量的标注集的获取至关重要。鉴于标注集的问题, 最近的一组研究尝试采用非 指导的学习方案, 进行评论垃圾识别。文献45-47采 用了频繁项目挖掘实现评论垃圾识别, 频繁项目挖掘 在检测个体评论垃圾发布人和评论垃圾发布人群体 中得以较好应用, 识别过程的关键在于频繁规则筛选 标准的定义。文献44则采用了聚类算法, 通过分析评 论人的行为特征, 探测评论垃圾发布人和非评论垃圾 发布人分布上的差异, 辨识评论垃圾的撰写者, 识别 评论垃圾。研究评论人行为及信誉来识别评论垃圾的 方向还包括图论7、分布规律48-50等, 较为新颖, 有待 进一步探讨。可见, 为了回避人工标注训练数据集会 导致的判断偏差, 很多研究以评论人为突破口。通过 分析评论人的行为表现, 迂回地选取评论内容之外的 信息特征, 来间接判断评论垃圾。相比于直接挖掘评 论内容特征的判定方式, 这类方法更能保证判别的效 率和稳定性。但这类方法的评判依据毕竟是评论内容 之外的间接特征, 是否能够充分地反映信息内容本身 的可信度, 值得深入研究, 因而其信服力和准确性仍 有待进一步提高。5结语开放的网络环境资源丰富, 但缺乏监管的现状使网络资讯良莠混杂, 难以被有效利用。真实可信的 网络评论能够为用户提供有价值参考, 引导整个行 业或产品的改进, 向更符合用户需求的健康方向发 展, 但虚假无效的评论垃圾则会误导消费者, 带来更 严重的负面效应。辨识资讯真伪, 提高信息质量, 使 网络资源可利用价值最大化, 评论垃圾识别是一个 值得关注的具有社会和应用价值的热点问题。本文从实践研究角度对该领域研究进行了较系统 的分析和梳理, 分别从概念辨识、研究范畴、方法以 及关键技术等方面对相关研究进行了总结和评述, 得出如下结论: 垃圾评论人群体: 通过协同工作发布不具有可信度的产品评论以吹捧或者诋毁目标产品的一群评论者。XIANDAI TUSHU QINGBAO JISHU 67 (1) 概念上, 笔者界定“评论垃圾”指故意过分吹捧或过分贬低某种产品的不真实评论以及不包含任 何有益成分的非相关在线网络评论。本质上不同于 “邮件垃圾”和“网页垃圾”。(2) 研究范畴上, 国内研究中, 对评论可信度与 评论有用性的区分不甚明晰。笔者认为评论垃圾识别 是评论可信性研究的应用体现。可信性研究关注信息 真伪的辨别, 而信息效用价值的研究则是可信性研究 的后继。(3) 研究方法上, 辨别评论垃圾的关键是提取表 征评论垃圾性的特征。评论内容和评论人特征同样重 要, 融合两方面特征的识别模型具有更优的效果。(4) 实现技术上, 由于存在标注偏差, 面向评论 内容, 基于机器学习的分类方法存在一定局限。基于 评论人及其他外部特征的解决方案有新意和潜力, 但 需要深入探索。Technology Based on Discriminating Action PatternJ. Computer Knowledge and Technology, 2007, 1(4): 957-958.) 李霄, 丁晟春. 垃圾商品评论信息的识别研究J. 现代图书情报技术, 2013(1): 63-68. (Li Xiao, Ding Shengchun.Research on Review Spam RecognitionJ. New Technology of Library and Information Service, 2013(1): 63-68.)Wang G, Xie S H, Liu B, et al. Review Graph Based Online Store Review Spammer Detection C. In: Proceedings of the 11th International Conference on Data Mining. Washington, DC, USA: IEEE Computer Society, 2011: 1242-1247.邱云飞, 王建坤, 邵良杉, 等. 基于用户行为的产品垃圾 评论者检测研究J. 计算机工程, 2012, 38(11): 254-257,261. (Qiu Yunfei, Wang Jiankun, Shao Liangshan, et al. Research on Product Review Spammer Detection Based on Users BehaviorJ. Computer Engineering, 2012, 38(11): 254-257, 261.)孙升芸, 田萱, 何军. 基于评论行为的商品垃圾评论的识别研究J. 计算机工程与设计, 2012, 33(11): 4315-4319.(Sun Shengyun, Tian Xuan, He Jun. Research on Product Review Spam Detection Based on Review BehaviorJ. Computer Engineering and Design, 2012, 33(11): 4315-4319.)吴敏, 何珑. 融合多特征的产品垃圾评论识别J. 微型机 与应用, 2012, 31(22): 85-87, 90. (Wu Min, He Long. FuseMulti-features to Identify Product Review SpamJ. Microcomputer & Its Applications, 2012, 31(22): 85-87, 90.) Li F T, Huang M, Yang Y, et al. Learning to Identify Review Spam C. In: Proceedings of the 22nd International Joint Conference on Artificial Intelligence. AAAI Press, 2011: 2488-2493.Ott M, Choi Y J, Cardie C, et al. Finding Deceptive Opinion Spam by Any Stretch of the Imagination C. In: Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA, USA: Association for Computational Linguistics, 2011: 309-319.Jindal N, Liu B. Review Spam Detection C. In: Proceedings of the 16th International Conference on World Wide Web. New York, NY, USA: ACM, 2007: 1189-1190.Jindal N, Liu B. Analyzing and Detecting Review Spam C. In: Proceedings of the 7th International Conference on Data Mining. Washington, DC, USA: IEEE Computer Society, 2007: 547-552.Jindal N, Liu B. Opinion Spam and AnalysisC. In:6789 参考文献： 中国互联网信息中心. 第 32 次中国互联网络发展状况统计报告R/OL. 2013-09-30. / hlwfzyj/ hlwxzbg/hlwtjbg/201307/t20130717_40664.htm. (China Inte- rnet Network Information Center. The 32nd Statistic Report of China Internet Development StateR/OL. 2013-09-30. . cn/hlwfzyj/hlwxzbg/hlwtjbg/201307/t2 0130717_40664.htm.)蒋涛 , 张彬 . Web Spam 技术研 究 综 述 J. 情报探 索 ,2007(7): 66-68. (Jiang Tao, Zhang Bin. A Survey of Web Spam TechnologiesJ. Information Research, 2007(7): 66-68.)贾志洋, 崔博文, 王勇刚, 等. 搜索引擎垃圾网页技术分 析J. 情报探索, 2011(7): 94-96. (Jia Zhiyang, Cui Bowen, Wang Yonggang, et al. Analyzing Technology of Search Engine Spam Web PagesJ. Information Research, 2011(7): 94-96.)王斌, 潘文锋. 基于内容的垃圾邮件过滤技术综述J. 中文信息学报, 2004, 19(5): 1-10. (Wang Bin, Pan Wenfeng. A Survey of Content-based Anti-spam Email FilteringJ. Journal of Chinese Information Processing, 2004, 19(5): 1-10.)何建昭, 梁晓诚, 郭红宾. 基于行为模式识别的反垃圾邮件技术 J. 电 脑知识与技 术 , 2007, 1(4): 957-958. (He Jianzhao, Liang Xiaocheng, Guo Hongbin. Anti-spam11011212313414515 68现代图书情报技术情报分析与研究总第 243 期2014 年第 2 期J. 中国 经贸 导刊 , 2012(29): 75-77. (Ding Xuejun.Empirical Study on Influence Factors of Word of Mouth in Internet EnvironmentJ. China Economic & Trade Herald, 2012(29): 75-77.)咸晓静. 基于 TAM 的网络口碑信任度研究D. 上海: 上海交通大学, 2010. (Xian Xiaojing. A Research on the Trust of Electronic Word of Mouth Based on TAMD. Shanghai: Shanghai Jiaotong University, 2010.)刘逶迤, 逯万辉, 丁晟春. 商品评论信息可信度研究J.情报科学, 2012, 30(10): 1556-1565. (Liu Weiyi, Lu Wanhui, Ding Shengchun. Research on the Credibility of Commodity Reviews InformationJ. Information Science, 2012, 30(10):1556-1565.)Kusumasondjaja S, Shanka T, Marchegiani C. Credibility of Online Reviews and Initial Trust: The Roles of Reviewers Identity and Review ValenceJ. Journal of Vacation Marketing, 2012, 18(3): 185-195.Pan L Y, Chiou J S. How Much Can You Trust Online Information? Cues for Perceived Trustworthiness of Consumer-generated Online InformationJ. Journal of Interactive Marketing, 2011, 25(2): 67-74.Qiu L Y, Pang J, Lim K H. Effects of Con fl icting Aggregated Rating on eWOM Review Credibility and Diagnosticity: The Moderating Role of Review ValenceJ. Decision Support Systems, 2012, 54(1): 631-643.Cheung M Y, Luo C, Sia C L, et al. How do People Evaluate Electronic Word-of-Mouth? Informational and Normative Based Determinants of Perceived Credibility of Online Consumer Recommendations in ChinaC. In: Proceedings of the 11th Pacific Asia Conference on Information Systems. 2007: 69-73.Cheung M Y. Do People Believe Electronic Word-of-Mouth?: A Study on Factors Affecting Readers Perceived Credibility of Online Consumer ReviewsD. Hongkong: City University of Hong Kong, 2006.Cheung M Y, Cindy M Y, Sia C L, et al. Is This Review Believable? A Study of Factors Affecting the Credibility of Online Consumer Reviews from an ELM PerspectiveJ. Journal of the Association for Information Systems, 2012, 13(8): 618-635.Lim E P, Nguyen V A, Jindal N, et al. Detecting Product Review Spammers Using Rating Behaviors C. In: Proceedings of the 19th ACM International Conference onInformation and Knowledge Management. New York, NY,Proceedings of the 2008 International Conference on Web Search and Data Mining. New York, NY, USA: ACM, 2008: 219-230.于兵兵. Web Spam 检测及网页排序算法的研究D. 西安:西安电子科技大学, 2012. (Yu Bingbing. Research on Web Spam Detection and Web Page SortingD. Xian: Xidian University, 2012.)铁翠香. 基于信任和感知价值的网络口碑效应研究D. 武 汉 : 华 中科技 大学 , 2011. (Tie Cuixiang. Study on theeWOM Impact: A Mediating Role of Trust and Consumer Perceived ValueD. Wuhan: Huazhong University of Science and Technology, 2011.)李念武, 岳蓉. 网络口碑可信度及其对购买行为之影响的实证研究J. 图书情报工作, 2009, 53(22): 123-137. ( LiNianwu, Yue Rong. An Empirical Study on Credibility of Online Word-of-Mouth and Its Effects on Consumers Purchase BehaviorJ. Library and Information Service, 2009,53(22): 123-137.)凌昌梅. 网络口碑可信度影响因素的实证研究D. 北京: 北京邮电大学 , 2012. (Ling Changmei. An Empirical Analysis of Factors Influencing the Credibility of OnlineWord-of-MouthD. Beijing: Beijing University of Posts and Telecommunications, 2012.)艾青. 中国网络口碑可信度的影响因素探索研究D. 成都 : 西南财经大学 , 2008. (Ai Qing. The Exploratory Research of Influence Factor for the Credibility of Online Word-of-MouthD. Chengdu: Southwestern University of Finance and Economics, 2008.)郭国庆, 陈凯, 何飞. 消费者在线评论可信度的影响因素研究J. 当代经济管理, 2010, 32(10): 17-23. (Guo Guoqing, Chen Kai, He Fei. An Empirical Study on the Influence of Perceived Credibility of Online Consumer ReviewsJ. Contemporary Economy & Management, 2010, 32(10):17-23.)宫明亮. 网络口碑传播信任度影响因素研究D. 上海: 东 华大学, 2011. (Gong Mingliang. The Research on InternetWord of Mouth Dissemination CredibilityD. Shanghai: Donghua University, 2011.)孙春华, 刘业政. 网络口碑信息可信度的实验研究J. 财经论丛, 2009(4): 97-102. (Sun Chunhua, Liu Yezheng. An Experimental Study on Message Credibility of eWOM J. Collected Essays on Finance and Economics, 2009(4): 97-102.)丁学君. 网络环境下口碑信息可信度影响因素的实证研究162517261827281929203021312232233324XIANDAI TUSHU QINGBAO JISHU 69 USA: ACM, 2010: 939-948.Danescu-Niculescu-Mizil C, Kossinets G, Kleinberg J, et al. How Opinions are Received by Online Communities: A Case Study on Amazon. com Helpfulness VotesC. In: Proceedings of the 18th International Conference on World Wide Web. New York, NY, USA: ACM, 2009: 141-150.薛博召. 图书领域消费者在线评论的有用性影响因素研究D. 哈尔 滨 : 哈尔滨工业大 学 , 2011. (Xue Bozhao. Research on Online Impact Factors of Customer Reviews Usefulness Based on Book Reviews DataD. Harbin: Harbin Institute of Technology, 2011.)廖成林, 蔡春江, 李忆. 电子商务中在线评论有用性影响因素实 证研 究 J. 软科学 , 2013, 27(5): 46-50. (LiaoNew York, NY, USA: ACM, 2010: 10-13.陆军, 洪宇, 陆剑江, 等. 基于全局用户意图的评论自动 估价方法研究J. 中