网络信息资源收集技术

第五章网络信息资源收集技术,知识要点网络信息资源的特点互联网信息资源的主要类型搜索引擎的主要种类搜索引擎的工作原理常用的搜索引擎能力要点具有灵活利用不同类型的搜索引擎搜集网络信息的能力具有合理利用搜索引擎查找特定站点的能力具有利用搜索引擎、期刊门户网站搜索学术文档的能力,5.1网络信息收集与分析,5.1.1什么是网络信息1网络信息传统的商务信息起源很早，货币的出现取代了易货贸易，交易活动变得更容易了。然而，贸易的基本原理并没有变化，社会的某一成员创造有价值的物品，这种物品是其他成员所需要的。所以，商务或商务活动就是至少有两方参与的有价物品或服务协商交换的过程，它包括买、卖各方为完成交易所进行的各种活动。在信息社会，这一过程逐渐缩短。,5.1网络信息收集与分析,2网络信息资源定义网络信息资源（NetworkInformationResources）是指以数字化的形式存储于网络节点中、借助于网络进行传播和利用的信息产品和信息系统的集合体。网络信息资源是信息资源的一个下位概念，是与传统文献信息资源相并列的。,5.1网络信息收集与分析,3网络信息特点网络信息资源是一种数字化资源，与非网络信息资源相比有其独特的特点，了解网络信息资源的特点有助于人们对其进行搜索、开发和利用。（1）数量庞大、增长迅速（2）内容丰富、覆盖面广（3）信息质量参差不齐，有序与无序并存（4）信息共享程度高、使用成本低（5）信息形式多样性,5.1网络信息收集与分析,5.1.2网络信息获取方法1网上浏览网上浏览是获取信息最简单的方法。通过网上浏览可以熟悉网站的特点、内容和风格，对于了解各网站的栏目设置情况、商品情况是有益的。但是从网络经济学的角度来讲，这种漫无边际的浏览造成时间和经济的浪费。2收藏和保存页面信息对于在浏览过程中发现和获得的重要信息，可以把它收集并保存起来。收集和保存页面信息的方法很多。,5.1网络信息收集与分析,3定向浏览定向浏览是网上浏览的深层次发展形式，它不仅具有明确的目的性，而且具有捕捉信息的敏感性，通常有以下6个目的。寻找商气旺的目标发布网站；获取网上商品的上网情况和定价信息；寻找手中货品的现实商机；分析产品的网上流向；判断该网站的商业价值；为待进行的商务谈判做准备。,5.1网络信息收集与分析,4订制信息订制信息是一种主动获取所需信息的方法。许多商业网站提高了这种订制信息的服务，只要登录这些网站，在该网站的订制信息的登记栏内留下电子邮件地址，就完成了订制信息的操作。例如，利用邮件列表订制信息是网站的一种个性化服务。,5.1网络信息收集与分析,5利用网上搜索引擎通过搜索引擎对网络信息资源进行查找是获取网络信息资源的主要方式。搜索引擎是用来对网络信息资源管理和检索的一系列软件，实际上也是一些网页。查找信息资源时，在其中的搜索框中输入查找的关键词、短语，或者是其他相关的信息，再通过超链接，逐一访问相关网站，就可以查找到所需要的信息资源,5.1网络信息收集与分析,6利用权威机构的网站如果用户熟悉网络资源的特点和分布状况，了解常用信息资源的发布方式，可以通过国内外重要的科研机构、信息发布机构、学会的网址，及时而准确地获得这些权威机构发布的信息。7利用网络专业信息资源导航库专业信息导航库比搜索引擎更具专指性。例如，中国高等教育文献保障系统（CALIS）本着共知、共建、共享的原则，以全国高等院校为依托，建立起CALIS工程中心重点学科导航库和CALIS文理中心重点学科导航库，积累了国内外政府部门、高等院校、科研机构、学术团体的各专业网站地址，覆盖的学科全面，学术价值高，信息可靠性强，通过有效链接可以直接进入各学科专业网，既可节省查询时间，又可提高查询的准确性。,5.1网络信息收集与分析,8利用各高校图书馆的网络资源高校图书馆是网络信息资源的主要发布阵地，尤其是针对学术信息资源。图书馆根据读者需求，编制网络资源导航系统，建立学科导航库，建立中外文网络数据库链接，筛选网上信息，剔除重复和无用的网络资源，引导读者最大限度地利用有效的信息资源，将读者从繁杂、无序的信息海洋中解脱出来，有效地遏制信息泛滥给读者造成的影响。,5.1网络信息收集与分析,5.1.3网络信息整理与分析1网络信息资源分类资源的分类是按照一定的标准将与研究课题有关的信息资源分成不同的组或类，将相同或相近的资源合为一类，将相异的资源区别开来，然后再按分类标准将总体资源加以划分，构成系列。人们习惯将收集的信息资源按照信息资源的性质、内容或特征进行分类。,5.1网络信息收集与分析,2网络信息资源汇编汇编就是按照研究的目的和要求，对分类后的资源进行汇总和编辑，使之成为能反映研究对象客观情况的系统、完整、集中、简明的材料。3网络信息资源分析方法用于信息分析的方法有逻辑学法、数学法和超逻辑想象法三大类，其中，逻辑学法是最常用的方法。逻辑学法具有定性分析、推论严密、直接性强的特点。,5.2搜索引擎技术,5.2.1搜索引擎分类1搜索引擎的定义搜索引擎是为网络用户提供信息查询服务的计算机系统，也可以说是一类提供信息“检索”服务的网站，它根据一定的策略、运用特定的方法搜集互联网上的信息，并对信息进行组织和处理，将处理后的信息通过计算机网络显示给用户。它包括信息搜集、信息整理和用户查询三部分。,5.2搜索引擎技术,2搜索引擎的分类（1）全文搜索引擎全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度。它们都是从网站提取信息建立网页数据库的。从搜索结果来源的角度，全文搜索引擎又可细分为两种：一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如Google、Baidu引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。,5.2搜索引擎技术,（2）目录式搜索引擎目录索引完全依赖于手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其像Yahoo!这样的超级索引，登录更是困难。（由于登录Yahoo!的难度最大，而它又是商家网络营销必争之地，所以我们会在后面用专门的篇幅介绍登录Yahoo！的技巧）,5.2搜索引擎技术,（3）元搜索引擎元搜索引擎又称集搜索引擎，是指在统一的用户查询界面与信息反馈的形式下，共享多个搜索引擎的资源库为用户提供信息服务的系统。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的有搜星搜索引擎。,5.2搜索引擎技术,5.2.2搜索引擎工作原理（1）从互联网上收集网页信息（抓取）搜索引擎首先会派出一种被称作“蜘蛛”或者是“机器人”的软件，根据一定规则扫描存在于互联网上的网站，并沿着网页上的链接从一个网页到另一个网页，从一个网站到另一个网站。为保证采集的资料最新，它还会回访已抓取过的网页。（2）建立网页索引数据库（索引）由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词位置、生成时间、大小、与其他网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面文字中及超链接中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。,5.2搜索引擎技术,（3）在索引数据库中搜索排序（排序）当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。（4）组织返回搜索结果（结果返回）由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。,5.2搜索引擎技术,5.2.3几种常用搜索引擎介绍1百度搜索引擎（1）百度公司背景简介百度（Nasdaq：BIDU）是全球最大的中文搜索引擎，2000年1月由李彦宏、徐勇两人创立于北京中关村，致力于向人们提供“简单、可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的青玉案元夕词句“众里寻他千百度”，象征着百度对中文信息检索技术的执着追求。,5.2搜索引擎技术,（2）百度搜索引擎技术基于字词结合的信息处理方式。支持主流的中文编码标准。智能相关度算法。检索结果能标示丰富的网页属性。百度搜索支持二次检索。相关检索词智能推荐技术。运用多线程技术,5.2搜索引擎技术,可以提供一周、两周、四周等多种服务方式。检索结果输出支持内容类聚、网站类聚、内容类聚+网站类聚等多种方式。支持用户选择时间范围，提高用户检索效率。,5.2搜索引擎技术,2搜狗搜索（1）搜狗公司背景简介搜狗是搜狐公司的旗下子公司，于2004年8月3日成立，目的是为增强搜狐网的搜索功能，主经搜狐公司的搜索业务。在搜索业务的同时，搜狗还推出了搜狗输入法、搜狗高速浏览器。,5.2搜索引擎技术,（2）搜狗公司战略目标搜狗在产品上追求技术创新，紧跟时代步伐，强调战略布局。经过长期摸索和反复尝试，目前形成了以搜索引擎、输入法和浏览器为主，以通话管理、地图、智能硬件等产品为辅的产品布局。搜狗搜索战略调整为以年轻群体为主要目标人群。,5.3搜索引擎营销,5.3.1搜索引擎营销概述1搜索引擎营销思想搜索引擎营销的基本思想是让用户发现信息，并通过单击链接进入网站/网页进一步了解所需要的信息。在介绍搜索引擎策略时，一般认为，搜索引擎优化设计的主要目标有两个层次：被搜索引擎收录和在搜索结果中排名靠前，多数网络营销人员和专业服务商对搜索引擎的目标设定也基本如此。2搜索引擎营销服务模式搜索引擎营销服务模式如图5-5所示。,5.3搜索引擎营销,5.3搜索引擎营销,（1）SEOSEO（SearchEngineOptimization），译为搜索引擎优化。主要目的是增加特定关键字的曝光率以增加网站的能见度，进而增加销售的机会。分为站外SEO和站内SEO两种。通过了解各类搜索引擎如何抓取互联网页面、如何进行索引，以及如何确定其对某一特定关键词的搜索结果排名等技术，来对网页进行相关的优化，使其提高搜索引擎排名，从而提高网站访问量，最终提升网站的销售能力或宣传能力。,5.3搜索引擎营销,（2）PPCPPC是英文PayPerClick的缩写形式，其中文意思就是点击付费广告。一般是大公司最常用的网络广告形式。提供点击付费的网站非常多，主要有各大门户网站（如搜狐、新浪）和搜索引擎（如Google和百度），以及其他浏览量较大的网站。（3）竞价排名竞价排名，是一种按效果付费的网络推广方式。用少量的投入就可以给企业带来大量潜在客户，有效提升企业销售额和品牌知名度。竞价排名按照给企业带来的潜在客户访问数量计费，企业可以灵活控制网络推广投入，获得最大回报。,5.3搜索引擎营销,（4）关键词广告关键词广告（adwords）属于CPC（CostPerClick）收费制，即按点击次数收取广告费，其针对性非常高，被称为性价比较高的网络推广方式。3搜索引擎营销的目标层次原理搜索引擎营销的目标层次原理如图5-6所示。,5.3搜索引擎营销,5.3搜索引擎营销,第一层是搜索引擎营销的存在层，其目标是在主要的搜索引擎/分类目录中获得被收录的机会，这是搜索引擎营销的基础，离开这个层次，搜索引擎营销的其他目标也就不可能实现。搜索引擎登录包括免费登录、付费登录、搜索引擎关键词广告等形式。存在层的含义就是让网站中尽可能多的网页获得被搜索引擎收录（而不仅仅是网站首页），也就是增加网页的搜索引擎可见性。,5.3搜索引擎营销,第二层的目标则是在被搜索引擎收录的基础上尽可能获得好的排名，即在搜索结果中有良好的表现，因而可称为表现层。因为用户关心的只是搜索结果中靠前的少量内容，如果利用主要的关键词检索时网站在搜索结果中的排名靠后，那么还有必要利用关键词广告、竞价广告等形式作为补充手段来实现这一目标。同样，如果在分类目录中的位置不理想，则需要同时考虑在分类目录中利用付费等方式获得排名靠前。,5.3搜索引擎营销,第三层的目标则是直接表现为网站访问量指标方面，也就是通过搜索结果点击率的增加来达到提高网站访问量的目的。由于只有受到用户关注，经过用户选择后的信息才可能被点击，因此可称为关注层。从搜索引擎的实际情况来看，仅仅做到被搜索引擎收录并且在搜索结果中排名靠前是不够的，这样并不一定能增加用户的点击率，更不能保证将访问者转化为顾客。要通过搜索引擎营销实现访问量增加的目标，则需要从整体上进行网站优化设计，并充分利用关键词广告等有价值的搜索引擎营销专业服务。,5.3搜索引擎营销,第四层的目标是通过访问量的增加转化为企业最终实现收益的提高，可称为转化层。转化层是前面三个目标层次的进一步提升，是各种搜索引擎方法所实现效果的集中体现，但并不是搜索引擎营销的直接效果。,5.3搜索引擎营销,5.3.2关键词广告关键词可以被称为是整个搜索应用的基石。对用户和搜索引擎来说，关键词是双方互动的媒介，如果不使用关键词，用户难以达到快捷有效地查询信息的目的。在搜索引擎营销中，关键词也起着重要的作用。,5.3搜索引擎营销,5.3.3竞价排名1什么是竞价排名竞价排名是搜索引擎关键词广告的一种形式。按照付费最高者排名靠前的原则，对购买了同一关键词的网站进行排名的一种方式。竞价排名也是搜索引擎营销的方式之一。竞价排名由美国搜索引擎overture于2000年开始首次采用（该公司于2003年7月被雅虎收购），后被多个搜索引擎所效仿和采用。中文搜索引擎百度、一搜等都采用了竞价排名的方式。竞价排名的基本特点是按点击付费，广告出现在搜索结果中（一般是靠前的位置），如果没有被用户点击，则不收取广告费。,5.3搜索引擎营销,2竞价排名的特点竞价排名具有以下几个特点。（1）按效果付费，即广告主付出的广告费必须是有效果回报的。（2）广告费用相对于其他形式的广告费用来说是较低的。（3）广告出现在搜索结果页面，与用户检索内容高度相关，增加了广告的定位程度。（4）竞价广告出现在搜索结果靠前的位置，容易引起用户的关注和点击。因而，效果比较显著。（5）搜索引擎自然搜索结果排名的推广效果是有限的。（6）广告主可以自己控制广告价格和广告费用。（7）广告主可以对用户点击广告的情况进行统计分析。,5.3搜索引擎营销,5.3.4搜索引擎优化（SEO）1什么是搜索引擎优化搜索引擎优化（SearchEngineOptimization，SEO）是一种利用搜索引擎的搜索规则来提高目的网站在有关搜索引擎内的排名的方式。不少研究发现，搜索引擎的用户往往只会留意搜索结果最前面的几个条目，所以不少网站都希望通过各种形式来影响搜索引擎的排序。,5.3搜索引擎营销