大数据环境下中小企业竞争情报管理系统研究

第1章绪论1.1研究背景随着企业进入全面信息化时代，越来越多的企业逐步认识到情报信息的重要性。然而占据企业多数的中小企业，限于自身的条件困难（如资金缺乏、人才流失等），要想建立、发展自己的竞争情报系统往往举步维艰、无从下手。而当前关于帮助、指导中小企业的研究都很缺乏，中小企业需要一套系统、完善、可执行的方案帮助其发展。本文正是在这种背景下，研究中小企业如何开发竞争情报系统，并利用竞争情报制定公司策略，使其得到良好的发展。1.2国内外研究现状1.2.1国外研究现状通过在各类检索网站查询大数据环境下中小企业竞争情报管理系统的国外相关研究，对文献梳理如下：Fleisher,CraigS[1]明确公共政策竞争情报（PPCI）对公司战略的威胁、预警作用，同时研究了公司层面进入或退出产品或服务线等方面响应公共政策的发展，竞争情报将发挥更广泛的作用。Orozco,Eduardo[2]分析了古巴竞争情报的现状，并以拉丁美洲竞争情报的现状为前提，研究了CI在古巴成功应用的可能性，将CI作为决策的管理工具，并促进一种支持在古巴企业中使用信息的文化。AmineElHaddadi,AbdelhadiFennan等[3]提出基于web服务技术构建竞争情报系统（CIS），解决非结构化数据的捕获和存储，实现非结构化数据的处理。IdaIp,SimonFong等[4]研究了商业的动态性，获取有用的外部信息在当前竞争激烈、数据量大的市场中至关重要，通过对目前竞争情报的发展进行回顾和总结，提出一套针对餐饮行业的系统，帮助企业提高澳门市场的竞争优势。HugoAraujo,CarlosJ.Costa等[5]提出竞争情报（CI）对市场的重要变化进行预警管理，使组织在竞争优势方面能够在动荡的环境中航行，分析构成CI的不同阶段，并对不同的模型进行了区分，提出了一个综合前人研究成果的概念模型，确定各种能够支持竞争情报过程的技术工具。GoranPranjić[6]通过实践验证，利用竞争情报数据获得的关于竞争的信息，为做出正确的商业决策提供了基础，从而实现公司既定的商业目标。目前国外发达国家对竞争情报的研究较为成熟，企业竞争系统的构建技术较为先进，随着互联网、大数据技术的发展，如何提高企业竞争力，构建行业竞争情报系统成为后续研究的重点之一。1.2.2国内研究现状本文在中国知网、百度学术、万方数据库、维普等平台对与课题相关的关键词进行检索，通过查询结果可以看出，近年来对于竞争情报的研究较为广泛，伴随着大数据在各类行业中应用的不断延伸，大数据环境下中小企业竞争情报管理系统研究在学术界的关注度日渐提高，同时企业对于竞争情报的重视度也越来越大。阮晓东[7]在分析了竞争情报的重要作用以及特征的基础上，总结大数据技术的发展对企业竞争情报能力的提高具有重要意义，以不同地域、不同行业的情报服务平台为例，阐述运用大数据技术，充分发挥企业竞争情报的积极作用，提高企业生存能力和竞争能力。胡笑梅、刘帅[8]针对大数据环境下中小企业市场环境状况、竞争对手信息、客户需求信息等进行分析，在了解总结传统竞争情报服务模式缺陷的基础上，提出构建中小企业“一站式”竞争情报服务的设想，为中小企业竞争情报系统的发展提供新思路。逄锦荣、张雨[9]在梳理了国内外竞争情报研究现状后，对竞争情报的需求特点进行分析并总结，并以快递行业的竞争情报为研究案例，提出建立以核心竞争情报和支撑竞争情报为切入点的竞争情报管理体系。王洪亮、张琪等[10]分析总结了近年来中小企业竞争情报的发展变化趋势，以Herring模型构建动态合作机制的竞争情报系统模型，整合第三方公司的情报搜集、处理优势，提供中小企业所需的具体竞争情报内容。张恒[11]、郑悦雪[12]通过对大数据背景下小企业面临的超竞争环境，总结出目前中小企业竞争情报工作存在重视程度不够、人才缺乏、情报质量偏低等问题，构建包括组织、人际等完备的中小企业竞争情报系统，实现情报收集、存储、加工、服务等功能，以期提高中小企业核心竞争力。李迎迎[13]以互联网+为背景依据，构建包括情报预警、收集、分析、输出等子系统的企业竞争情报模型，为其他行业建立企业竞争情报模型提供借鉴。我国关于竞争情报系统的研究时间相对于国外来说较短，但是针对大数据的竞争情报研究较为成熟，由于中小企业涉及行业较为广泛，如何构建一个完整的、全面的大数据竞争情报系统平台是现阶段亟需解决的问题之一。1.3研究目的及意义1.3.1选题目的随着我国经济格局的不断发展变化，中小企业在国民经济发展中起到更加突出的作用，成为我国经济发展的支柱之一，然而在当前社会信息化步伐加快，市场环境复杂多变的大环境下，中小企业受到自身因素以及外部环境的影响，在经营方面难免会遇到一些问题，其生存与发展步伐常常举步维艰。在此背景下，怎样正确引导我国中小企业突破发展瓶颈，运用更加合理的现代化管理手段，提高中小企业对数据情报的收集与分析能力，在激烈的市场竞争中找到发展的新商机成为摆在各企业面前的一项难题。论文的研究目的是通过对当前中小企业在竞争情报方面面临的问题进行分析和研究，再结合大数据的特征和关键技术，旨在探寻中小企业突破现实困境的措施，帮助中小企业建立合适的竞争情报系统，以便更好的应对经济社会发展的挑战，全面提高企业竞争力，使企业得到更好的发展。1.3.2选题意义第一，理论意义。本文对竞争情报系统展开的研究基于我国中小企业的发展特点和形式，结合当前经济发展环境，对中小企业经营过程中受到大数据时代的影响进行了深入分析。在分析了现有竞争情报系统的基础上，利用本科所学知识对中小企业竞争情报存在的问题加以总结归纳，并提出了相应的解决对策。第二，实践意义。本文研究的实践意义主要是通过阐述建设竞争情报系统的必要性，进而帮助中小企业管理者打破传统观念的束缚，重视对数据信息的收集、存储、分析，致力于构建符合自身发展需求、结合企业发展实际的竞争情报系统。从而使企业在面临外部竞争环境变化时，能够下及时掌握产品营销的相关政策、了解竞争对手的发展状况，能够基于大数据信息支持做出精准决策，得到更好的发展。1.4研究思路及架构第一，对国内外当前中小企业竞争情报现状进行分析研究，特别是在大数据环境下，一些发达国家或国内发达城市企业竞争情报系统的发展现状，分析该研究的理论及实践意义。第二，分析研究大数据及大数据环境对中小企业在资源配置、科学决策、产品设计、市场服务等方面产生的影响，探究中小企业构建竞争情报系统的必要性和紧迫性。再结合大数据的含义特征，分析企业在构建竞争情报系统时需要采用的大数据关键技术。第三，研究我国国内发展现状，特别是中小企业的现状，分析中小企业情报存在哪些问题和不足，并针对这些问题结合有关信息技术提出相应的意见建议。第四，从当前企业竞争情报系统的生产角度以及情报信息流通、情报服务等方面出发，构建一套及时、准确、高效的企业竞争情报系统。确定竞争情报系统的基本框架和模块，总结各模块所包含的功能，确定模块间的联系，并对所研究内容做系统总结。1.5研究方法第一，文献分析法。以“大数据环境下中小企业竞争情报管理系统研究”为关键词，在中国知网、万方数据知识服务平台、百度学术等平台上检索相关文献资料后，对其有价值的信息进行阅读梳理，为论文的撰写工作提供素材。第二，系统研究法。在本文进行系统分析设计之前，对当前现有的几个企业竞争情报系统的相关构建模型框架，主要功能、技术方法和手段等进行了调查研究，为本文中系统的构建提供相关思路、基础和参考借鉴。第三，总结归纳法。在收集并分析国内外关于中小企业竞争情报管理系统既有研究成果基础上结合本专业所学知识对其展开分析与研究，借鉴其合理性及具有指导性的研究成果。1.6研究创新点随着我国经济格局不断变化，中小企业已成为当前我国企业数量主体，中小企业的发展不断得到重视，然而针对大数据背景下中小企业竞争情报系统的研究的文章很少。本文将竞争情报系统中的数据存储单独设计为一个子系统，独立于竞争情报分析子系统之外，收集到的数据得以更好地清洗过滤，进而得到更可靠精准的数据分析结果。本文以此为立足点研究企业竞争情报系统的应用，为中小企业提供实用、可行的参考意见建议。

第2章大数据及对中小企业的影响2.1大数据含义及特征2.1.1大数据的含义大数据的定义在不同的角度是不尽相同的。维克托·迈尔·舍恩伯格在2010年提出了大数据的概念[14]。美国的数据科学家NetApp也分别从带宽、分析和内容三个方面对大数据进行了定义[15]。JohnRauser认为[16]，大数据的容量非常大，只靠几个计算机是无法独立处理和分析的。从大数据发展的过去和以后的趋势来看，本文将大数据定义为：在互联网技术支持下，利用新的数据收集分析处理方法，对海量、繁杂的数据集进行智能化的信息挖掘，从而提取有价值的信息的技术。2.1.2大数据的特征第一，数据量大。当前社会环境，各种意想不到的来源都能产生数据，因此大数据采集、存储和分析的数据都是海量的。第二，数据类型多。大数据不仅有结构化数据，更多的是半结构化和非结构化等多种类型的数据，具体表现为社交媒体、网络日志、图片、传感器网络等数据，这对大数据的处理能力提出了极高的要求。第三，价值密度低。随着互联网在各个行业的广泛应用，各种数据大量涌现，但正因为数据庞大导致其价值密度较低。如何从海量数据中来挖掘有价值的信息，是当前大数据时代亟待解决的问题。第四，信息传播速度快、时效高。随着数据增长速度的加快，收集、处理数据的速度也必须加快，时效性要求非常高。比如用户在搜索网页时，能够看到每时每刻产生的新闻。第五，数据是在线的。这是大数据区别于传统数据最大的特征。现在我们所谈到的大数据不仅仅是大，更重要的是数据变的在线了，这是互联网高速发展背景下的特点。2.1.3大数据关键技术数据采集、集成与处理、存储及管理等共同组成了大数据处理技术，是目前大数据中应用较为广泛的技术之一。第一，大数据采集。大数据的采集技术是指利用多个数据库从各个客户端接收各种类型的结构化、半结构化的数据，并允许用户通过这些数据来进行简单的查询和处理。第二，数据集成与处理技术。数据的集成就是每一个分布式的数据库分别采集不同领域的数据，将这些收集到的数据汇总到一个大型数据库或存储集群中进行处理分析。这一阶段的主要挑战是集成的数据量大，每秒的集成数据量通常会达到百兆字节，甚至千兆字节。第三，大数据存储与管理技术。大数据存储与管理技术就是把采集到的数据情报存储到相应的数据中心，以便后续进行管理和分析。当前，数据的海量快速增长、数据来源丰富以及数据类型多种多样都对大数据存储管理技术提出了更高的要求。2.2大数据环境对中小企业的影响第一，企业得到的竞争情报更加真实。在大数据时代背景下，现代企业可收集的数据来源众多，可收集到的数据数不胜数。无论是海量客户的交易数据，还是与众多用户的实时或离线交互数据，甚至是各类电子设备软件收集到的数据，这些来自各方数据信息都从各个侧面反映了企业的经营状况、企业的客户行为以及企业竞争对手特点等信息。这些来源不同的数据收集得越是全面、精准，处理之后的信息更加全面，企业经营战略的制定更具有针对性，客户信息、竞争对手情报信息以及市场环境特征等信息更加准确，同时对企业管理层的决策就越有指导价值。第二，企业竞争情报的实时性显著提高。近些年来随着大数据存储、分析技术的不断发展，面对海量的数据企业可以运用分布式大数据分析处理技术（如Hadoop大数据处理框架）来快速有效的处理分析收集到的数据，从而为企业得到更加全面、准确、详细的分析结果报告，为企业管理人员在做决策时提供参考依据。第三，企业竞争情报更加准确。各种信息传播收集平台，如QQ、新浪微博、支付宝、微信、钉钉等，都包含着互联网用户在线活动的相关数据记录。企业用户在使用与本企业相关的网站时，也会留下一定的数据记录。这些海量的社会化用户数据中，蕴含了企业客户的行为路径信息、客户实际产品需求等有价值的信息。企业的信息部门可以根据自身的实际需求使用大数据分析处理技术来挖掘这些潜在的情报信息，为现代企业在制定精准有效的产品销售策略和计划。

第3章企业竞争情报系统3.1企业竞争情报系统概念中科情分会理事长包昌火研究员表示[17]，企业竞争情报系统将人与机器有机结合，实现企业战略决策，通过员工职能、信息技术共同提高企业的竞争能力。美国教授约翰·普赖斯科特提出计划流程的正式与非正式业务管理组成了企业竞争情报系统[17]，系统对行业趋势、市场环境、行业结构进行分析、追踪，同时紧密观察竞争对手动态，帮助企业始终保持行业领先地位在下载和阅读各种文档的过程中，作者发现，当前国内主要出现了两种对企业竞争情报系统的偏见：一种是把竞争情报系统视为纯粹的工具型软件，将其理解为管理信息系统，它的功能是收集信息情报[18]，为企业的管理提供预警，这仅仅是企业竞争情报系统的一部分功能；第二种偏见是把竞争情报系统当做对竞争对手采用不正当竞争手段的工具，在市场竞争中将其视为商业间谍的角色[19]。在对包昌火先生和约翰·普赖斯科特教授两位专家的对竞争情报系统理解的基础上，结合当前社会上对企业竞争情报系统地曲解，本文将竞争情报系统简单归结为：企业竞争情报系统由相互联系、相互影响的功能、结构和方法组成，各模块部分有机的联系在一起，并随着外部环境的变化和用户的需要提供不同情报产品的体系。3.2企业竞争情报系统的流程构建竞争情报系统的主要目的是承担企业特定的竞争情报工作。由于企业的竞争环境和商业模式等存在许多差异，竞争情报系统的形式将会有所不同，一般来说完整的竞争情报工作至少具有以下四个环节：第一，在情报收集环节，收集企业内部和外部的大量信息情报，并简单筛选过滤无用的数据；第二，在情报存储环节，将收集到的情报进一步提取有价值的信息并有序地存储到信息库中，以便进行后面的终端检索、情报调用管理以及情报分析管理；第三，在情报分析环节，对存储在数据库中的数据进行调用并采用大数据分析技术进行深度处理和计算，为企业经营提供有价值的相关信息[19]；第四，在情报服务环节，将经过情报分析后的情报知识以简单明了、通俗易懂的方式提供给企业用户，同时对用户在使用过程中反应的问题进行及时的收集处理，以供后续提供更完善的情报服务。企业竞争情报系统的框架如图3-1所示。公开信息收集渠道公开信息收集渠道渠道非公开信息收集渠道情报收集子系统情报存储子系统情报分析子系统情报服务子系统情报用户Internet平台防火墙企业web站点Internet用户竞争情报系统竞争情报系统图3-1企业竞争情报系统框图3.3企业竞争情报系统组织形式的类型在企业内部，CIS部门的组织形式可分为四种类型。第一，分散式。在现有职能部门的基础上，每个职能部门在所负责联系的环境中收集有价值的信息，并将其传输到企业的信息中心进行处理。第二，重点式。将使用竞争情报最频繁的职能部门（比如产品研发部门和销售部门）作为重点构建竞争情报系统的核心。第三，集中式。建立情报收集中心，统一收集企业内外的数据信息并进行简单的处理，给企业各职能部门提供所需的情报信息，集中收集和处理各部门因业务往来而获取的各类信息，然后再提供给需求者使用。第四，单独式。建立企业内部情报部门，日常工作就是收集、分析、处理竞争情报，满足企业内部的需求。在情报产品实施效果显著的作用下，它可以通过自主管理来维持生存[20]。3.4企业竞争情报系统的构成要点构成构成组织结构情报形成流程运行机制手段系统目标和功能图3-1企业竞争情报系统的构成要点3.4.1系统目标及功能企业竞争情报系统最终实现的是宏观、中观和微观三个方面的具体目标。宏观目标是提高企业应对环境变化能力和竞争情报能力、将企业构建成学习型、创新型组织[21]。中观目标是为了提高企业经营绩效，根据企业战略管理需要，及时向管理者报告竞争情报的含义和企业内外部环境的变化，在企业制定实施战略决策时提供支持。微观目标是为特定业务领域的企业部门提供竞争情报产品服务和战术决策支持。企业竞争情报系统的主要功能有市场环境监测、技术追踪、决策支持、对手分析、反竞争情报等。3.4.2组织机构及运行机制企业竞争情报系统的组织结构包括企业专职竞争情报机构的设置、组织人员的构成、权威竞争情报机构与其他有关机构的关系。企业竞争情报系统采用与企业重大事务决策议事机制、与企业内部各业务系统的关系机制、与企业日常决策的关系机制等[22]的运行机制。3.4.3竞争情报的主要流程及手段竞争情报形成主要流程有确定情报需求、情报采集、情报信息加工和竞争情报产品表达。竞争情报工作的主要手段根据当前的科技发展水平，可分为计算机网络自动采集和非计算机系统手工采集。

第4章大数据环境下中小企业竞争情报分析4.1中小企业竞争情报需求特点当前，由于中小企业与大型企业规模存在一定的差异，所以中小企业竞争情报系统的需求与大型企业有所不同，主要表现在：一、行业特性导致竞争情报系统需要极强的针对性；二、中小企业需要以客户导向为依据制定相关的企业策略，因此中小企业竞争情报系统需要极强的客户目的性，同时也考虑自身竞争环境；三、非正式信息来源渠道占比大，基本属于公司内部消化，不容易实现行业内共享[23]；四、中小企业竞争情报系统主要为企业决策提供依据，因此，中小企业竞争情报系统需要充分利用信息的便利特点等。随着社会对数据的需求，大数据技术的发展，中小企业竞争情报系统以其特有的数据分析和信息处理功能得到人们的更多重视，同时也将面临着前所未有的挑战。4.2中小企业竞争情报工作存在的问题第一，中小企业员工的大数据情报意识薄弱。目前，我国大多数中小企业管理者在竞争情报工作方面的认识普遍还停留在传统层面，对大数据竞争情报对企业生存和发展的重要性认识不足。尽管大数据的快速增长和相关技术的发展带来了新的商机，但仍有许多人不了解大数据及其存在的价值。据一项针对中小企业员工的调查（数据如表4-1所示）显示，目前大约只有9%的企业员工对于和大数据的相关话题非常关注，但同时也有22%的员工表示并不了解大数据竞争情报，另有18%的人说他们一般理解当前的竞争情报。此外，还有51%的受调查者认为他们的理解比较片面，其中最典型的代表是有部分受访者认为大数据应用属于大公司关心的技术，中小企业涉及不到。更有甚者，相当一部分受访者认为大数据技术仅仅是商家用来吸引客户的一种手段，技术本身并无特色。如果企业对大数据有以上或者其他的误解，就会导致企业依赖决策层的主观意识和情感做出重要决策[24]，对于大数据竞争情报的不重视，必然会导致企业在决策过程中更多的以决策者的主观臆断为依据，出现错误的决策。图4-1对大数据竞争情报的了解情况第二，传统数据库管理不能应对快速增长的数据量。随着社会信息化步伐加快，企业将面临庞大的数据集，未来的竞争情报系统将要处理更多的数据。据统计，目前在美国拥有超过1000名员工的九百多家公司存储的数据都超过100TB[25]；在过去两年中，淘宝的月度活跃用户增长了2.26亿，年度活跃消费者增长了2.08亿；百度大脑每天被调用4千亿次，而且竞争情报系统不仅要收集企业内外部数据库中的业务数据，还要收集用户在使用网络时所产生的难以计算的社会化数据。如此海量的数据不仅要求竞争情报系统具有先进的软硬件，而且还要求系统具有强大的存储能力，传统的数据库对于处理兆字节级别的数据无能为力，自然也无法支持高级情报分析，并不能完成此项工作。第三，数据类型复杂导致情报分析困难。在大数据时代，企业竞争情报来源结构发生了显著变化，据一项统计显示，企业中结构化数据只占比30%，而剩下的70%的数据都是非结构化或半结构化的[26]，而且非结构化数据的增长速度远大于结构化数据的增长速度（具体如表4-2所示）。传统的算法只是单纯的挖掘分析结构化数据，其他类型的数据需要转化为结构化数据分析，加大了工作量，并且不能很好的利用收集到的数据，因为在这个过程中很有可能会丢失原本数据的隐式关系，丢失这些关系中隐藏的重要情报，使得分析的结果具有高度的不确定性和不精准性，降低了数据分析的效率，影响了竞争情报分析的及时性。图4-2非结构化与结构化数据占比4.3针对当前问题提出的意见建议第一，提高中小企业竞争情报意识。中小企业对竞争情报系统的重要性应高度重视，当前我国中小企业在培训竞争情报意识方面与大企业相比相差甚远，具体情况如图4-3所示（数据来源于网络）。首先，我们需要转变传统观念，尤其是企业决策层，要摒弃原有的对大数据情报的偏见误解，不要认为竞争情报系统是大企业应该重视构建，因而忽视了对竞争情报系统的建设；其次，以企业长远发展战略为着手点，依据各行业中小企业实际，开展培育教育，针对企业内部员工进行培训，提高员工对竞争情报的认识度与使用度；再次，企业自身加强竞争情报系统的投入力度，与高校、研究院强化合作，吸引更多的优质人才加入本企业竞争情报体系建设，同时尽力构建企业自身的竞争情报系统。最后，相关行业协会或组织可联合各媒体或利用网络，加强对竞争情报作用的宣传，宣传竞争情报系统对提高企业综合竞争力的重要性，使各中小企业充分感受到开展竞争情报研究的时效性、必要性、紧迫性，增强中小企业自身的竞争情报意识，使企业管理者在组织企业活动或进行重大决策时能积极利用竞争情报。图4-3企业对竞争情报意识的培训大数据是不可阻挡的时代潮流，中小企业的每个员工都需要正确面对大数据技术给企业带来的挑战、创造的机遇，转变自己的想法，对大数据分析技术有基本的了解甚至掌握，才能在第一时间了解市场环境的变化，再以最快的速度推送给决策者，使公司决策层在最短时间内获取市场状况和竞争动态。如果对企业竞争情报系统无所作为、固步自封，那么企业将丧失竞争力，最终沦为时代的泡沫。第二，构建基于云计算的中小企业竞争情报管理系统。利用云计算技术将互联网与各类计算方式结合，实现IT资源自动化管理和配置、将IT资源管理简单化、拓宽综合利用IT资源的提供路径。云计算具有三个明显的特点[27]。云计算中资源共享和存储管理能力是云计算中最基本的基础；快速交付能力为用户提供了超大的计算资源，极速提高了数据响应速率；按需服务特点为数据实时响应提供了极大的可能，实现动态扩展和组合。云计算中信息的存储、共享和挖掘方式为竞争情报分析提供了工具，并且经过大数据分析预测后，竞争情报会更加准确，二者相辅相成。建立在云计算基础上的竞争情报管理系统不仅成本低，而且具有强大的存储能力、精准的分析能力和快速的反应能力。第三，注重数据类型分析。在大数据背景下，不管是在日常经营中还是在进行重大决策时上，企业都会在各种信息管理系统中留下一定的数据记录。而这些记录呈现出各种数据类型，比如微博短信等实时数据或网站交易数据等动态数据，企业将动态数据利用大数据、云计算、互联网+技术有效整合，从中找出相应规律，进而再现企业运行和发展的全部面貌。同时，企业要分析所在竞争情报领域特性，构建适合本企业的大数据分析处理平台。尽管当前已经有很多信息技术公司、企业、研究机构都开始探索大数据实时处理分析平台，研究大数据存储方法技术。具有完备功能的大数据处理工具和大数据开源云计算平台等都已得到了广泛的应用，但我国实施大数据分析工具和平台仍处于初级阶段，尚缺少通用的大数据实时分析处理框架。像阿里巴巴、百度等大型互联网企业在构建本公司的大数据处理平台时均需要根据本行业特性对已有的Hadoop平台进行性能改进，所以，中小企业在开展竞争情报过程中，必须根据本企业、本行业特性，综合选择大数据工具，根据实际需要构建实时竞争情报管理系统。

第5章大数据环境下中小企业竞争情报系统的构建本文将该系统单元模块设定为收集、存储、分析、服务四个模块，整个系统构成，详见图5-1所示。竞争情报竞争情报服务子系统竞争情报收集子系统竞争情报分析子系统应用程序服务器应用程序服务器数据库数据库竞争情报存储子系统Web服务技术Web服务安全模型分布式数据库管理系统图5-1竞争情报系统单元模块5.1竞争情报收集子系统竞争情报收集子系统主要是中小企业竞争情报人员在企业管理者或决策人员在确定情报主题后，从各种渠道对最新政策、竞争对手发展动态等与该情报相关数据进行收集整理，主要内容包括国内外最新的政策、行业、竞争对手发展动态等。本文设计研究的中小企业竞争情报收集子系统利用“分而治之”的方式，多个分布式集群并行工作，能够更加快速的收集企业内外部产生的数据。对于静态大数据，竞争情报收集子系统可以每隔一段时间对信息数据进行采集，企业根据自身对信息需求情况灵活设定收集时间段，例如一小时、一天等。而对于情报动态信息，企业则需要在数据发生变化时进行实时采集，以便企业竞争情报系统能够及时分析数据并做出实时响应。在数据采集的同时，要将一些无关数据进行简单的过滤分类，然后进入竞争情报存储环节。操作流程如下图5-2所示。定时定时实时实时大数据静态大数据信息检测线下大数据信息分类数据审核信息库图5-2竞争情报收集子系统操作流程5.1.1竞争情报需求企业收集的情报要同时兼备广泛性和特殊性两个特点。广泛性是指收集的竞争情报要包含涵盖企业所处市场大环境特征、竞争对手发展状况及企业内部的各个职能部门；特殊性是指要制定明确的目标，为特定的对象服务。所以，在进行竞争情报收集前，首先要确定收集的范围，确定竞争情报需求。在企业日常运营中可运用关键成功因素法来辅助分析情报需求。关键成功因素是指在企业创建经营发展过程中，那些对企业成功起到关键作用的因素通常是决策信息需求的来源，也是需要收集的一部分情报。另外，关键成功因素法还经常对那些企业管理人员在决策时关注的业务领域情况进行衡量，并将这些度量信息提供给管理人员，也这是需要收集的情报。实践证明，关键成功因素法在确定企业竞争情报需求方面能够有起到比较好的作用。由于中小企业规模小，在资金、技术等方面与大型企业有着很大的差距，因此中小企业可以着重收集市场环境、客户需求、产品研发等方面的内容，根据当前大环境及时调整生产、组织销售，随时改变运营策略，将有限的资金、技术、人力投入大型企业容易忽略的机会，以满足产品空缺和市场需求。5.1.2竞争情报收集在完成竞争情报需求分析之后，企业需要根据所要收集情报的特点并结合公司的实际情况确定信息收集的方式，然后再明确竞争情报的收集渠道，最后使用大数据采集技术收集情报。企业竞争情报管理系统的情报收集方式主要有两种，一种是一般信息收集，对同行业企业需要常规使用信息进行固定时间的收集；另一种是关键信息收集，此方式主要针对于具体项目的竞争情报信息进行着重收集，在初始构建运行企业竞争情报管理系统时通常使用这种收集模式，在随着系统不断的运行发展，企业可以总结经验，并将一些经常需要收集的信息逐步转为常规信息收集模式，如竞争环境监视、关键技术跟踪等。中小企业通常没有完整的产业结构和长远的经营规划，比较依赖市场环境的变化，因此，中小企业竞争情报收集主要以关键信息收集模式为主，多针对某一问题进行投资信息等方面的情报收集。在确定竞争情报收集方式的同时还要考虑到信息收集的渠道，包括公开渠道和非公开渠道两种，公开渠道的来源以互联网数据、文献资料以及竞争对手数据为主。非公开渠道主要包括企业员工、信息系统及行业研究报告等。具体如表5-1所示。中小企业的信息情报信息多可以通过公开渠道得到，在相关文献资料、互联网上等搜集可得到比较完善的市场环境信息、国家政策等；通过产品发布会、专利检索等公开的产品服务可得到相关产品技术信息；通过其他企业的产品上新、宣传资料可获得一定的竞争对手信息。表5-1情报信息收集渠道来源具体方式公开信息收集渠道互联网数据微博、微信、官网等文献资料图书、期刊、专利等竞争企业信息产品上新、企业宣传资料等非公开信息收集渠道企业员工资料档案等信息系统ERP系统、CRM系统等行业数据数据公司、咨询公司等在情报收集的过程中，面临大量的数据，企业可使用大数据采集技术对数据进行收集。现有的采集技术有系统日志、网络数据、数据库等。具体技术如表5-2所示。表5-2大数据采集技术系统日志采集系统（主要收集日志数据）FlumeApacheFlume作为日志收集系统，将采集到的数据集中存储，Flume则通过简便的处理架构，实现对日志流数据的实时在线分析。ScribeScribe属于开源日志采集系统，对接各类数据源，集中在中心存储系统中存储，方便后续的分析处理。网络数据采集系统（通过网络爬虫和公共API等方式从网站上获取数据）ApacheNutch框架ApacheNutch作为一个高透明度、扩展性极强的网络爬虫框架。Apache在Hadoop支持下，利用建立MapReduce任务实现网页数据的分布式抓取，由Nutch对数据进行存储和索引。Crawler4j、Scrapy等框架Crawler4j和Scrapy都是一个爬虫框架，分别基于Java和Python，同样具备爬虫框架简单的特点，开发人员可以根据具体需求任意修改，缩短开发时间，同时支持数据挖掘、监测、测试以及过滤重复URL的功能。数据库采集系统目前应用较为广泛的数据库存储系统为MySQL和Oracle，也有一部分企业数据库的数据来源为DCS系统数据。同时Redis和MongoDB数据库也会应用于数据的采集。5.2竞争情报数据存储子系统竞争情报收集子系统在收集数据时只是将数据简单的筛选，将一些无关数据排除，竞争情报数据存储子系统会对数据进行进一步清洗处理，可通过预定义的清理规则等方法删除重复信息、缺失值和无效值等，将满足质量要求的数据存入情报库中，以便后续提供给情报分析子系统使用。流程如图5-3所示。当前大部分中小企业的竞争情报系统都将竞争情报数据存储子系统纳入竞争情报数据分析子系统的设计中，本文将竞争情报系统中的数据存储单独设计为一个子系统，在对收集到的数据进行分析前可以更好地清洗过滤、审查校验，提高了数据的可用性、有效性，进而得到更可靠的数据分析结果。信息库信息库情报库数据标准化情报分析子系统图5-3竞争情报数据存储子系统流程在大数据环境下，传统采用硬盘存储数据的方式显然是不能应对数据的爆炸式增长。所以，当前大多数企业采用云存储技术作为情报存储系统的核心技术。该技术通过网络将本地海量数据放置在云端在线存储空间，共同对外提供存储服务，用户只需要向提供商申请存储服务，减少存储平台的重复建设率。对于中小企业来说，采用云存储技术可以避免建立独立的数据中心，节约了软硬件的费用投入，而且云存储技术具备分布式、并行处理的特性，可以集中利用存储空间，实现竞争情报人员对数据的保存和随时调用。5.3竞争情报分析子系统竞争情报收集子系统只是负责收集可能有价值的信息源，存储子系统也只是将收集到的数据信息有序地组织汇集在一起，进一步分析数据从而得到对企业有益的情报则是要靠竞争情报分析子系统完成的工作，具体流程如图5-4所示。一个完善的竞争情报分析子系统应该包括以下三个部分。第一，统计库。统计库主要负责分析各组数据之间的相关性和统计的可靠性，并按照一定规律将数据进行整理分类。在统计库中采用相关、因子、回归、差异、时间序列等分析方法。第二，模型库。模型库有助于管理者做出科学的决策，模型库中有许多和企业相关的、较成熟的模型。第三，分析工具。情报分析人员利用系统提供的分析工具或辅助分析软件进一步分析挖掘收集信息中的隐藏价值，为管理人员分析企业所处的市场竞争环境，并使决策者在最大的范围内识别本企业的主要竞争对手，以便制定适合本企业的竞争策略。回归分析回归分析相关分析因子分析差异分析时序分析统计库整理筛选销售能力评估模型市场潜力评价模型威胁分析模型竞争能力分析模型优势劣势分析模型模型库竞争情报服务子系统分析辅助分析软件工具（如spss）竞争情报存储子系统图5-4竞争情报分析子系统流程中小企业在竞争情报意识、人才、建设经验等方面与大型企业相比有着很大的差距，比较明显的表现就是竞争情报分析能力不足，即使能够收集到完善的数据，也不能从中得到有价值的信息。所以将竞争情报数据分析模块作为中小企业竞争情报系统的核心模块之一，也是企业能否得到有参考价值情报的关键，它主要负责经过运用数据挖掘技术和机器学习技术将经过竞争情报存储子系统处理后的数据进行分析研究，找出数据间隐含存在的关联关系，进一步发现新的知识情报。竞争情报分析是此系统中最有价值的步骤之一，对于情报信息的准确性和有效性具有极强的作用，利用数据挖掘、深度学习技术，例如，针对中小企业自身竞争情报分析可实施业务流程重组法、客户满意度调查法等；对企业周围市场环境分析时可采取产业情景预测法、策略联盟、波士顿矩阵等。Hadoop是当前应用最多的开源大数据处理分析平台（其架构如图5-5所示），包括文件系统（HDFS）、数据库（HBase）、数据处理（MapReduce）等功能模块，是一个可靠、高效、可伸缩的分布式基础架构。情报分析系统建立在Hadoop构架内，首先系统需要对收集存储的数据集进行关联和聚合，将其定义为统一的结构，然后根据企业所需的情报，选择调整算法（如遗传算法、粒子群算法、人工神经网络等）使其适应云计算的框架，进而开展竞争情报分析。最后是对得到的结果数据进行解释，可采用可视化手段（主要包括可视化映射、视图变换和显示）完成从抽象数据到可视化结构的映射，最终得到情报分析的结果。ZookeeperZookeeper(coordnation)协同工作系统Pig(DataFlow)数据分析语言Sqoop数据格式转化工具Hive(SQL)数据仓库)HDFS(HadoopDistributedFileSystem)分布式文件系统Avro数据序列化系统HBase(ColumnDatabase)列式数据库Map/Reduce(JobScheduling/ExecutionSystem)并行计算模型ETLToolsRDBMSBIReporting图5-5Hadoop基本架构5.4竞争情报服务子系统竞争情报服务子系统将企业对竞争情报信息的需求有针对性的分别发送到不同需求者手中，以便辅助做出决策和行动。所以竞争情报子系统主要关注以下两方面的内容。第一，情报服务内容，即向企业竞争情报系统使用者提供的情报产品，主要表现为各类情报的分析研究报告，它是竞争情报系统最终产品的表现形式。第二，情报服务方式。不同的企业人员所收到的情报产品方式是各不相同的，可按照用户的职位、信息时间、信息保密级别、信息类别等分别向企业的职能层、研发层、规划层、管理层等各人员提供情报服务，例如向中小企业的决策层提供市场行业情况以及产品发展趋势等，帮助决策者制定合理的目标，选择最佳的方案规划。

结论本文通过对大数据相关技术的研究和中小企业竞争情报系统需求与构建方式的分析发现，当前存在很多中小企业不能够很好的面对大数据时代的来临，在构建利用竞争情报系统方面仍然面临着很大的困境。而中小企业为使自己在行业中占据一定的份额，提高自身竞争力，获得长久的发展，就必须要顺应时代发展的潮流，借助大数据提供的数据挖掘技术、工程化的数据思维模式，结合自身实际情况，形成一套个性化的企业竞争情报管理系统，并将其应用到企业运营的各方各面。但是由于企业内部数据具有隐私性质，一些中小企业内部数据、市场占有率等指标性数据，比较适合商业而非研究用途，所以未能在论文中体现。而且本文的研究重点在于系统的构建、服务体系方面，具体的分析方法、指标体系可以作为后续的研究内容。电脑不启动故障诊治了解电脑启动的过程在诸多电脑故障中，无法正常启动是最令用户头痛的事了。笔者长期从事维护电脑的工作，在这个方面积累了一些经验，现在就将这些经验整理归纳出来与朋友们分享。本文将以家用电脑和windows98操作系统为基础，介绍电脑无法正常启动故障的诊治。要想准确地诊断电脑不启动故障，首先要了解的起动过程，当我们按下电源开关时，电源就开始向主板和其它设备供电，此时电压还没有完全稳定，主板控制芯片组会根据CMOS中的CPU主频设置向CPU发出一个Reset(重置)信号，让CPU初始化，电压完全稳定后，芯片组会撤去Reset信号，CPU马上从地址FFFF0H处执行一条跳转指令，跳到系统BIOS中真正的启动代码处。系统BIOS首先要做的事情就是进行POST(PowerOnSelfTest，加电自检)。POST的主要任务是检测系统中的一些关键设备(电源、CPU芯片、BIOS芯片、定时器芯片、数据收发逻辑电路、DMA控制器、中断控制器以及基本的64K内存和内存刷新电路等)是否存在和能否正常工作，如内存和显卡等。自检通过后，系统BIOS将查找显示卡的BIOS，由显卡BIOS来完成显示卡的初始化，显示器开始有显示，自此，系统就具备了最基本的运行条件，可以对主板上的其它部分进行诊断和测试，再发现故障时，屏幕上会有提示，但一般不死机，接着系统BIOS将检测CPU的类型和工作频率，然后开始测试主机所有的内存容量，内存测试通过之后，系统BIOS将开始检测系统中安装的一些标准硬件设备，这些设备包括：硬盘、CD－ROM、软驱、串行接口和并行接口等连接的设备，大多数新版本的系统BIOS在这一过程中还要自动检测和设置内存的相关参数、硬盘参数和访问模式等。标准设备检测完毕后，系统BIOS内部的支持即插即用的代码将开始检测和配置系统中已安装的即插即用设备。每找到一个设备之后，系统BIOS都会在屏幕上显示出设备的名称和型号等信息，同时为该设备分配中断、DMA通道和I/O端口等资源。最后系统BIOS将更新ESCD(ExtendedSystemConfigurationData，扩展系统配置数据)。ESCD数据更新完毕后，系统BIOS的启动代码将进行它的最后一项工作，即根据用户指定的启动顺序从软盘、硬盘或光驱启动。以从C盘启动为例，系统BIOS将读取并执行硬盘上的主引导记录，主引导记录接着从分区表中找到第一个活动分区，然后读取并执行这个活动分区的分区引导记录，而分区引导记录将负责读取并执行IO.SYS，这是Windows最基本的系统文件。IO.SYS首先要初始化一些重要的系统数据，然后就显示出我们熟悉的蓝天白云，在这幅画面之下，Windows将继续进行DOS部分和GUI(图形用户界面)部分的引导和初始化工作，一切顺利结束，电脑正常启动。根据故障现象诊治了解电脑启动的过程，故障就好判断了，下面我们就根据故障现象开始诊治了：现象一：系统完全不能启动，见不到电源指示灯亮，也听不到冷却风扇的声音。这时，基本可以认定是电源部分故障，检查：电源线和插座是否有电、主板电源插头是否连好，UPS是否正常供电，再确认电源是否有故障，最简单的就是替换法，但一般用户家中不可能备有电源等备件，这时可以尝试使用下面的方法（注意：要慎重）：先把硬盘，CPU风扇，或者CDROM连好，然后把ATX主板电源插头用一根导线连接两个插脚（把插头的一侧突起对着自己，上层插脚从左数第4个和下层插脚从右数第3个，方向一定要正确），然后把ATX电源的开关打开，如果电源风扇转动，说明电源正常，否则电源损坏。如果电源没问题直接短接主板上电源开关的跳线，如果正常，说明机箱面板的电源开关损坏。现象二：电源批示灯亮，风扇转，但没有明显的系统动作。这种情况如果出现在新组装电脑上应该首先检查CPU是否插牢或更换CPU，而正在使用的电脑的CPU损坏的情况比较少见（人为损坏除外），损坏时一般多带有焦糊味，如果刚刚升级了BIOS或者遭遇了CIH病毒攻击，这要考虑BIOS损坏问题（BIOS莫名其妙的损坏也是有的），修复BIOS的方法很多杂志都介绍过就不重复了；确认CPU和BIOS没问题后，就要考虑CMOS设置问题，如果CPU主频设置不正确也会出现这种故障，解决方法就是将CMOS信息清除，既要将CMOS放电，一般主板上都有一个CMOS放电的跳线，如果找不到这个跳线可以将CMOS电池取下来，放电时间不要低于5分钟，然后将跳线恢复原状或重新安装好电池即可；如果CPU、BIOS和CMOS都没问题还要考虑电源问题：PC机电源有一个特殊的输出信号，称为POWERGOOD（PG）信号，如果PG信号的低电平持续时间不够或没有低电平时间，PC机将无法启动。如果PG信号一直为低电平，则PC机系统始终处于复位状态。这时PC机也出现黑屏、无声响等死机现象。但这需要专业的维修工具外加一些维修经验，因此，建议采用替换法；电源没有问题就要检查是否有短路，确保主板表面不和金属（特别是机箱的安装固定点）接触。把主板和电源拿出机箱，放在绝缘体表面，如果能启动，说明主板有短路现象；如果还是不能启动则要考虑主板问题，主板故障较为复杂，可以使用替换法确认，然后更换主板。现象三：电源指示灯亮，系统能启动，但系统在初始化时停住了，而且可以听到嗽叭的鸣叫声（没有视频）：根据峰鸣代码可以判断出故障的部位。ccid_page/AwardBIOS1短声：说明系统正常启动。表明机器没有问题。2短声：说明CMOS设置错误，重新设置不正确选项。1长1短：说明内存或主板出错，换一个内存条试试。1长2短：说明显示器或显示卡存在错误。检查显卡和显示器插头等部位是否接触良好或用替换法确定显卡和显示器是否损坏。1长3短：说明键盘控制器错误，应检查主板。1长9短：说明主板FlashRAM、EPROM错误或BIOS损坏，更换FlashRAM。重复短响：说明主板电源有问题。不间断的长声：说明系统检测到内存条有问题，重新安装内存条或更换新内存条重试。AMIBIOS1短：说明内存刷新失败。更换内存条。2短：说明内存ECC较验错误。在CMOS中将内存ECC校验的选项设为Disabled或更换内存。3短：说明系统基本内存检查失败。换内存。4短：说明系统时钟出错。更换芯片或CMOS电池。5短：说明CPU出现错误。检查CPU是否插好。6短：说明键盘控制器错误。应检查主板。7短：说明系统实模式错误，不能切换到保护模式。8短：说明显示内存错误。显示内存有问题，更换显卡试试。9短：说明BIOS芯片检验和错误。1长3短：说明内存错误。内存损坏，更换。1长8短：说明显示测试错误。显示器数据线没插好或显示卡没插牢。现象四：系统能启动，有视频，出现故障提示，这时可以根据提示来判断故障部位。下面就是一些常见的故障提示的判断：一、提示“CMOSBatteryStateLow”原因：CMOS参数丢失，有时可以启动，使用一段时间后死机，这种现象大多是CMOS供电不足引起的。对于不同的CMOS供电方式，采取不同的措施：1.焊接式电池：用电烙铁重新焊上一颗新电池即可；2.钮扣式电池：直接更换；3.芯片式：更换此芯片，最好采用相同型号芯片替换。如果更换电池后时间不长又出现同样现象的话，很可能是主板漏电，可检查主板上的二极管或电容是否损坏，也可以跳线使用外接电池，不过这些都需要有一定的硬件维修基础才能完成。二、提示“CMOSChecksumFailure”CMOS中的BIOS检验和读出错；提示“CMOSSystemOptionNotSet”，CMOS系统未设置；提示“CMOSDisplayTypeMismatch”，CMOS中显示类型的设置与实测不一致；提示“CMOSMemorySizeMismatch”，主板上的主存储器与CMOS中设置的不一样；提示“CMOSTime&DateNotSet”，CMOS中的时间和日期没有设置。这些都需要对CMOS重新设置。三、提示“KeyboardInterfaceError”后死机原因：主板上键盘接口不能使用，拔下键盘，重新插入后又能正常启动系统，使用一段时间后键盘无反应，这种现象主要是多次拔插键盘引起主板键盘接口松动，拆下主板用电烙铁重新焊接好即可；也可能是带电拔插键盘，引起主板上一个保险电阻断了（在主板上标记为Fn的东西），换上一个1欧姆／0.5瓦的电阻即可。四、自检过程中断在xxxKCache处这表示主板上Cache损坏，可以在CMOS设置中将“ExternalCache”项设为“Disable”故障即可排除。同理，在自检主板部件时出现中断，则可以认为该部件损坏，解决方法一般可以在CMOS中将其屏蔽，如果不能屏蔽该部件最好更换主板。五、提示“FDDControllerFailure”BIOS不能与软盘驱动器交换信息；提示“HDDControllerFailure”，BIOS不能与硬盘驱动器交换信息。应检查FDD（HDD）控制卡及电缆。六、提示“8042GateA20Error”8042芯片坏；提示“DMAError”，DMA控制器坏。这种故障需要更换。七、提示“DisplaySwitchNotProper”主板上的显示模式跳线设置错误，重新跳线。八、提示“KeyboardisLock...Unlockit”键盘被锁住，打开锁后重新引导系统。九、IDE接口设备检测信息为：“DetectingPrimary（或Secondary）Master（或Slave）...None”表示该IDE接口都没有找到硬盘，如果该IDE口确实接有硬盘的话，则说明硬盘没接上或硬盘有故障，可以从以下几方面检查：1、硬盘电源线和数据线是否接触不良，或换一根线试试；2、CMOS设置有无错误，进入CMOS将“PrimaryMaster”、“PrimarySlave”、“SecondaryMaster”三项的的“TYPE”都设置成“Auto”；3、替换法确认硬盘本身有故障。十、IDE接口设备检测信息下面显示“Floppydisk(s)fail(40)”出错信息表示CMOS所指定的软盘驱动器有问题。判断和解决的方法与硬盘相似。现象五：系统不能引导。这种故障一般都不是严重问题，只是系统在找到的用于引导的驱动器中找不到引导文件，比如：BIOS的引导驱动器设置中将软驱排在了硬盘驱动的前面，而软驱中又放有没有引导系统的软盘或者BIOS的引导驱动器设置中将光驱排在了硬盘驱动的前面，而光驱中又放有没有引导系统的光盘，这个都很简单，将光盘或软盘取出就可以了，实际应用中遇到“DiskBootFailure，InsertSystemDiskAndPressEnter”的提示，多数都是这个原因。如果是硬盘不能引导的话一般有两种情况：一种是硬盘数据线没有插好，另一种就是硬盘数据损坏。前者一般多会出现硬盘容量检测不正确和引导时出现死机的现象；后者则是干脆找不到引导文件或提示文件损坏。前者只需重新连接好数据线即可；后者则需要用win98的启动软盘或启动光盘启动，根据实际情况来定：一、提示“Invalidpartitiontable”或“NotFoundany[activepartition]inHDDDiskBootFailure，InsertSystemDiskAndPressEnter”，这说明找不到硬盘活动分区，需要对硬盘重新分区。二、提示“Missoperationsyste”，说明硬盘活动分区需要重新格式化（formatc:/s）。三、提示“InvalidsystemdiskReplacethedisk，andthenpressanykey”或显示“StartingWindows98…”时出现死机，说明硬盘上的系统文件丢失了或损坏，使用“sysc:”，命令传递系统文件给c盘，再将C拷贝给c盘。现象六：硬盘可以引导，但Windows不能正常启动，也不能进入安全模式。这种情况表明Windows98出现了严重的错误，首先，用杀毒软件查杀病毒，看是不是病毒造成的，如果没有发现病毒可以用以下方法试一试。一、直接将接口卡与各个外设都拨去，再插回去，并调整接口卡上的设置（如果可以的话）来检查是否是硬件冲突造成，开机看看是否可正常进入Windows。二、检查CMOS中的设置是否有不正确的地方，若不清楚，可选择LoadBiosDefault项目，然后重开机，开机看是否可正常进入Windows。三、在启动时按下F8键，一般会出现6个选项（如果安装了DOS6.22则出现7个选项）选择第4项“