第5章-网络信息资源收集技术

1、2021/3/111 网络信息资源收集技术网络信息资源收集技术 知识要点 网络信息资源的特点 互联网信息资源的主要类型 搜索引擎的主要种类 搜索引擎的工作原理 常用的搜索引擎 能力要点 具有灵活利用不同类型的搜索引擎搜集网络信息的能力 具有合理利用搜索引擎查找特定站点的能力 具有利用搜索引擎、期刊门户网站搜索学术文档的能力 2021/3/112 5.1.1 什么是网络信息 1 1网络信息网络信息 传统的商务信息起源很早，货币的出现取代了易货 贸易，交易活动变得更容易了。然而，贸易的基本 原理并没有变化，社会的某一成员创造有价值的物 品，这种物品是其他成员所需要的。所以，商务或 商务活动就是至少

2、有两方参与的有价物品或服务协 商交换的过程，它包括买、卖各方为完成交易所进 行的各种活动。在信息社会，这一过程逐渐缩短。 2021/3/113 2 2网络信息资源定义网络信息资源定义 网络信息资源（Network Information Resources）是指以数字化的形式存储于网络节 点中、借助于网络进行传播和利用的信息产品和 信息系统的集合体。网络信息资源是信息资源的 一个下位概念，是与传统文献信息资源相并列的 。 2021/3/114 3 3网络信息特点网络信息特点 网络信息资源是一种数字化资源，与非网络信息 资源相比有其独特的特点，了解网络信息资源的 特点有助于人们对其进行搜索、开发

3、和利用。 （1）数量庞大、增长迅速 （2）内容丰富、覆盖面广 （3）信息质量参差不齐，有序与无序并存 （4）信息共享程度高、使用成本低 （5）信息形式多样性 2021/3/115 5.1.2 网络信息获取方法 1网上浏览 网上浏览是获取信息最简单的方法。通过网上浏 览可以熟悉网站的特点、内容和风格，对于了解 各网站的栏目设置情况、商品情况是有益的。但 是从网络经济学的角度来讲，这种漫无边际的浏 览造成时间和经济的浪费。 2收藏和保存页面信息 对于在浏览过程中发现和获得的重要信息，可以 把它收集并保存起来。收集和保存页面信息的方 法很多。 2021/3/116 3定向浏览 定向浏览是网上浏览的深

4、层次发展形式，它 不仅具有明确的目的性，而且具有捕捉信息 的敏感性，通常有以下6个目的。 寻找商气旺的目标发布网站； 获取网上商品的上网情况和定价信息； 寻找手中货品的现实商机； 分析产品的网上流向； 判断该网站的商业价值； 为待进行的商务谈判做准备。 2021/3/117 4订制信息 订制信息是一种主动获取所需信息的方法。许 多商业网站提高了这种订制信息的服务，只要 登录这些网站，在该网站的订制信息的登记栏 内留下电子邮件地址，就完成了订制信息的操 作。例如，利用邮件列表订制信息是网站的一 种个性化服务。 2021/3/118 5利用网上搜索引擎 通过搜索引擎对网络信息资源进行查找是获取网

5、络信息资源的主要方式。搜索引擎是用来对网络 信息资源管理和检索的一系列软件，实际上也是 一些网页。查找信息资源时，在其中的搜索框中 输入查找的关键词、短语，或者是其他相关的信 息，再通过超链接，逐一访问相关网站，就可以 查找到所需要的信息资源 2021/3/119 6利用权威机构的网站 如果用户熟悉网络资源的特点和分布状况，了解常用信 息资源的发布方式，可以通过国内外重要的科研机构、 信息发布机构、学会的网址，及时而准确地获得这些权 威机构发布的信息。 7利用网络专业信息资源导航库 专业信息导航库比搜索引擎更具专指性。例如，中国高 等教育文献保障系统（CALIS）本着共知、共建、共享的 原则，

6、以全国高等院校为依托，建立起CALIS工程中心重 点学科导航库和CALIS文理中心重点学科导航库，积累了 国内外政府部门、高等院校、科研机构、学术团体的各 专业网站地址，覆盖的学科全面，学术价值高，信息可 靠性强，通过有效链接可以直接进入各学科专业网，既 可节省查询时间，又可提高查询的准确性。 2021/3/1110 8利用各高校图书馆的网络资源 高校图书馆是网络信息资源的主要发布阵地，尤 其是针对学术信息资源。图书馆根据读者需求， 编制网络资源导航系统，建立学科导航库，建立 中外文网络数据库链接，筛选网上信息，剔除重 复和无用的网络资源，引导读者最大限度地利用 有效的信息资源，将读者从繁杂、

7、无序的信息海 洋中解脱出来，有效地遏制信息泛滥给读者造成 的影响。 2021/3/1111 5.1.3 网络信息整理与分析 1网络信息资源分类 资源的分类是按照一定的标准将与研究课题有关 的信息资源分成不同的组或类，将相同或相近的 资源合为一类，将相异的资源区别开来，然后再 按分类标准将总体资源加以划分，构成系列。人 们习惯将收集的信息资源按照信息资源的性质、 内容或特征进行分类。 2021/3/1112 2网络信息资源汇编 汇编就是按照研究的目的和要求，对分类后的资 源进行汇总和编辑，使之成为能反映研究对象客 观情况的系统、完整、集中、简明的材料。 3网络信息资源分析方法 用于信息分析的方法

8、有逻辑学法、数学法和超逻 辑想象法三大类，其中，逻辑学法是最常用的方 法。逻辑学法具有定性分析、推论严密、直接性 强的特点。 2021/3/1113 5.2 5.2 搜索引擎技术搜索引擎技术 5.2.1 搜索引擎分类 1 1搜索引擎的定义搜索引擎的定义 搜索引擎是为网络用户提供信息查询服务的计算 机系统，也可以说是一类提供信息“检索”服务 的网站，它根据一定的策略、运用特定的方法搜 集互联网上的信息，并对信息进行组织和处理， 将处理后的信息通过计算机网络显示给用户。它 包括信息搜集、信息整理和用户查询三部分。 2021/3/1114 5.2 5.2 搜索引擎技术搜索引擎技术 2 2搜索引擎的分

9、类搜索引擎的分类 （1）全文搜索引擎 全文搜索引擎是名副其实的搜索引擎，国外具代 表性的有Google、Fast/AllTheWeb、AltaVista、 Inktomi、Teoma、WiseNut等，国内著名的有百度 。它们都是从网站提取信息建立网页数据库的。 从搜索结果来源的角度，全文搜索引擎又可细分 为两种：一种是拥有自己的检索程序（Indexer） ，俗称“蜘蛛”（Spider）程序或“机器人”（ Robot）程序，并自建网页数据库，搜索结果直接 从自身的数据库中调用，如Google、Baidu引擎； 另一种则是租用其他引擎的数据库，并按自定的 格式排列搜索结果，如Lycos引擎。 2

10、021/3/1115 5.2 5.2 搜索引擎技术搜索引擎技术 （2）目录式搜索引擎 目录索引完全依赖于手工操作。用户提交网站后 ，目录编辑人员会亲自浏览你的网站，然后根据 一套自定的评判标准甚至编辑人员的主观印象， 决定是否接纳你的网站。 搜索引擎收录网站时，只要网站本身没有违反有 关的规则，一般都能登录成功。而目录索引对网 站的要求则高得多，有时即使登录多次也不一定 成功。尤其像Yahoo!这样的超级索引，登录更是 困难。（由于登录Yahoo!的难度最大，而它又是 商家网络营销必争之地，所以我们会在后面用专 门的篇幅介绍登录Yahoo！的技巧） 2021/3/1116 5.2 5.2 搜索

11、引擎技术搜索引擎技术 （3）元搜索引擎 元搜索引擎又称集搜索引擎，是指在统一的用户 查询界面与信息反馈的形式下，共享多个搜索引 擎的资源库为用户提供信息服务的系统。著名的 元搜索引擎有InfoSpace、Dogpile、Vivisimo等 ，中文元搜索引擎中具代表性的有搜星搜索引擎 。 2021/3/1117 5.2 5.2 搜索引擎技术搜索引擎技术 5.2.2 搜索引擎工作原理 （1）从互联网上收集网页信息（抓取） 搜索引擎首先会派出一种被称作“蜘蛛”或者是“机器人 ”的软件，根据一定规则扫描存在于互联网上的网站，并 沿着网页上的链接从一个网页到另一个网页，从一个网站 到另一个网站。为保证采

12、集的资料最新，它还会回访已抓 取过的网页。 （2）建立网页索引数据库（索引） 由分析索引系统程序对收集回来的网页进行分析，提取相 关网页信息（包括网页所在URL、编码类型、页面内容包含 的所有关键词、关键词位置、生成时间、大小、与其他网 页的链接关系等），根据一定的相关度算法进行大量复杂 计算，得到每一个网页针对页面文字中及超链接中每一个 关键词的相关度（或重要性），然后用这些相关信息建立 网页索引数据库。 2021/3/1118 5.2 5.2 搜索引擎技术搜索引擎技术 （3）在索引数据库中搜索排序（排序） 当用户输入关键词搜索后，由搜索系统程序从网页 索引数据库中找到符合该关键词的所有相关

13、网页。 因为所有相关网页针对该关键词的相关度早已算好 ，所以只需按照现成的相关度数值排序，相关度越 高，排名越靠前。 （4）组织返回搜索结果（结果返回） 由页面生成系统将搜索结果的链接地址和页面内容 摘要等内容组织起来返回给用户。 2021/3/1119 5.2 5.2 搜索引擎技术搜索引擎技术 5.2.3 几种常用搜索引擎介绍 1 1百度搜索引擎百度搜索引擎 （1）百度公司背景简介 百度（Nasdaq：BIDU）是全球最大的中文搜索引 擎，2000年1月由李彦宏、徐勇两人创立于北京 中关村，致力于向人们提供“简单、可依赖”的 信息获取方式。“百度”二字源于中国宋朝词人 辛弃疾的青玉案元夕词句

14、“众里寻他千百 度”，象征着百度对中文信息检索技术的执着追 求。 2021/3/1120 5.2 5.2 搜索引擎技术搜索引擎技术 （2）百度搜索引擎技术 基于字词结合的信息处理方式。 支持主流的中文编码标准。 智能相关度算法。 检索结果能标示丰富的网页属性。 百度搜索支持二次检索。 相关检索词智能推荐技术。 运用多线程技术 2021/3/1121 5.2 5.2 搜索引擎技术搜索引擎技术 可以提供一周、两周、四周等多种服务方式。 检索结果输出支持内容类聚、网站类聚、内容 类聚+网站类聚等多种方式。支持用户选择时间范 围，提高用户检索效率。 2021/3/1122 5.2 5.2 搜索引擎技术

15、搜索引擎技术 2 2搜狗搜索搜狗搜索 （1）搜狗公司背景简介 搜狗是搜狐公司的旗下子公司，于2004年8月3 日成立，目的是为增强搜狐网的搜索功能，主 经搜狐公司的搜索业务。在搜索业务的同时， 搜狗还推出了搜狗输入法、搜狗高速浏览器。 2021/3/1123 5.2 5.2 搜索引擎技术搜索引擎技术 （2）搜狗公司战略目标 搜狗在产品上追求技术创新，紧跟时代步伐， 强调战略布局。经过长期摸索和反复尝试，目 前形成了以搜索引擎、输入法和浏览器为主， 以通话管理、地图、智能硬件等产品为辅的产 品布局。搜狗搜索战略调整为以年轻群体为主 要目标人群。 2021/3/1124 5.3 5.3 搜索引擎营

16、销搜索引擎营销 5.3.1 搜索引擎营销概述 1搜索引擎营销思想 搜索引擎营销的基本思想是让用户发现信息，并 通过单击链接进入网站/网页进一步了解所需要 的信息。在介绍搜索引擎策略时，一般认为，搜 索引擎优化设计的主要目标有两个层次：被搜索 引擎收录和在搜索结果中排名靠前，多数网络营 销人员和专业服务商对搜索引擎的目标设定也基 本如此。 2搜索引擎营销服务模式 搜索引擎营销服务模式如图5-5所示。 2021/3/1125 5.3 5.3 搜索引擎营销搜索引擎营销 2021/3/1126 5.3 5.3 搜索引擎营销搜索引擎营销 （1）SEO SEO（Search Engine Optimiza

17、tion），译为搜索 引擎优化。主要目的是增加特定关键字的曝光率以 增加网站的能见度，进而增加销售的机会。分为站 外SEO和站内SEO两种。通过了解各类搜索引擎如何 抓取互联网页面、如何进行索引，以及如何确定其 对某一特定关键词的搜索结果排名等技术，来对网 页进行相关的优化，使其提高搜索引擎排名，从而 提高网站访问量，最终提升网站的销售能力或宣传 能力。 2021/3/1127 5.3 5.3 搜索引擎营销搜索引擎营销 （2）PPC PPC是英文Pay Per Click的缩写形式，其中文意思 就是点击付费广告。一般是大公司最常用的网络广 告形式。提供点击付费的网站非常多，主要有各大 门户网站

18、（如搜狐、新浪）和搜索引擎（如Google 和百度），以及其他浏览量较大的网站。 （3）竞价排名 竞价排名，是一种按效果付费的网络推广方式。用 少量的投入就可以给企业带来大量潜在客户，有效 提升企业销售额和品牌知名度。竞价排名按照给企 业带来的潜在客户访问数量计费，企业可以灵活控 制网络推广投入，获得最大回报。 2021/3/1128 5.3 5.3 搜索引擎营销搜索引擎营销 （4）关键词广告 关键词广告（adwords）属于CPC（Cost Per Click）收费制，即按点击次数收取广告费，其 针对性非常高，被称为性价比较高的网络推广 方式。 3搜索引擎营销的目标层次原理 搜索引擎营销的目

19、标层次原理如图5-6所示。 2021/3/1129 5.3 5.3 搜索引擎营销搜索引擎营销 2021/3/1130 5.3 5.3 搜索引擎营销搜索引擎营销 第一层是搜索引擎营销的存在层，其目标是在主 要的搜索引擎/分类目录中获得被收录的机会， 这是搜索引擎营销的基础，离开这个层次，搜索 引擎营销的其他目标也就不可能实现。搜索引擎 登录包括免费登录、付费登录、搜索引擎关键词 广告等形式。存在层的含义就是让网站中尽可能 多的网页获得被搜索引擎收录（而不仅仅是网站 首页），也就是增加网页的搜索引擎可见性。 2021/3/1131 5.3 5.3 搜索引擎营销搜索引擎营销 第二层的目标则是在被搜索

20、引擎收录的基础上尽 可能获得好的排名，即在搜索结果中有良好的表 现，因而可称为表现层。因为用户关心的只是搜 索结果中靠前的少量内容，如果利用主要的关键 词检索时网站在搜索结果中的排名靠后，那么还 有必要利用关键词广告、竞价广告等形式作为补 充手段来实现这一目标。同样，如果在分类目录 中的位置不理想，则需要同时考虑在分类目录中 利用付费等方式获得排名靠前。 2021/3/1132 5.3 5.3 搜索引擎营销搜索引擎营销 第三层的目标则是直接表现为网站访问量指标方 面，也就是通过搜索结果点击率的增加来达到提 高网站访问量的目的。由于只有受到用户关注， 经过用户选择后的信息才可能被点击，因此可称

21、为关注层。从搜索引擎的实际情况来看，仅仅做 到被搜索引擎收录并且在搜索结果中排名靠前是 不够的，这样并不一定能增加用户的点击率，更 不能保证将访问者转化为顾客。要通过搜索引擎 营销实现访问量增加的目标，则需要从整体上进 行网站优化设计，并充分利用关键词广告等有价 值的搜索引擎营销专业服务。 2021/3/1133 5.3 5.3 搜索引擎营销搜索引擎营销 第四层的目标是通过访问量的增加转化为企业 最终实现收益的提高，可称为转化层。转化层 是前面三个目标层次的进一步提升，是各种搜 索引擎方法所实现效果的集中体现，但并不是 搜索引擎营销的直接效果。 2021/3/1134 5.3 5.3 搜索引擎

22、营销搜索引擎营销 5.3.2 关键词广告 关键词可以被称为是整个搜索应用的基石。对用 户和搜索引擎来说，关键词是双方互动的媒介， 如果不使用关键词，用户难以达到快捷有效地查 询信息的目的。在搜索引擎营销中，关键词也起 着重要的作用。 2021/3/1135 5.3 5.3 搜索引擎营销搜索引擎营销 5.3.3 竞价排名 1什么是竞价排名 竞价排名是搜索引擎关键词广告的一种形式。按照 付费最高者排名靠前的原则，对购买了同一关键词 的网站进行排名的一种方式。竞价排名也是搜索引 擎营销的方式之一。 竞价排名由美国搜索引擎overture于2000年开始首 次采用（该公司于2003年7月被雅虎收购），

23、后被 多个搜索引擎所效仿和采用。中文搜索引擎百度、 一搜等都采用了竞价排名的方式。竞价排名的基本 特点是按点击付费，广告出现在搜索结果中（一般 是靠前的位置），如果没有被用户点击，则不收取 广告费。 2021/3/1136 5.3 5.3 搜索引擎营销搜索引擎营销 2竞价排名的特点 竞价排名具有以下几个特点。 （1）按效果付费，即广告主付出的广告费必须是有效果回 报的。 （2）广告费用相对于其他形式的广告费用来说是较低的。 （3）广告出现在搜索结果页面，与用户检索内容高度相关 ，增加了广告的定位程度。 （4）竞价广告出现在搜索结果靠前的位置，容易引起用户 的关注和点击。因而，效果比较显著。 （

24、5）搜索引擎自然搜索结果排名的推广效果是有限的。 （6）广告主可以自己控制广告价格和广告费用。 （7）广告主可以对用户点击广告的情况进行统计分析。 2021/3/1137 5.3 5.3 搜索引擎营销搜索引擎营销 5.3.4 搜索引擎优化（SEO） 1什么是搜索引擎优化 搜索引擎优化（Search Engine Optimization， SEO）是一种利用搜索引擎的搜索规则来提高目 的网站在有关搜索引擎内的排名的方式。不少研 究发现，搜索引擎的用户往往只会留意搜索结果 最前面的几个条目，所以不少网站都希望通过各 种形式来影响搜索引擎的排序。 2021/3/1138 5.3 5.3 搜索引擎营销搜索引擎营销 2搜索引擎优化的优势 搜索引擎优化的优势表现为以下几点。 （1）能让更多的用户更快地找到他想