第35讲第二章数据采集分析与知识管理_W

1、 购买课程唯一联系QQ 89191757 微信【大纲要求】二、数据采集分析与知识管理(一)信息管理。(二)信息采集途径与方法。(三)信息鉴别。(四)数据分析与挖掘。(五)工程咨询知 识管理。【内容精讲】第二章 数据采集、分析与知识管理第一节 工程咨询信息及其管理二、工程咨询信息类型及来源(一)信息类型1.不同属性的信息工程咨询中常用如下几种属性信息：(1)法律。(2)规划与政策。(3)标准与规范。(4)自然与资源。(5)行业统计。(6)投资与项目。(7)区域社会与经济状况。2.来源不同的信息(1)内部信息。(2)外部信息。3.媒介与形式不同的信息4.原始信息与加工信息5.用途不同的信息6.动态

2、信息与静态信息7.显性信息与隐性信息(二)工程咨询对信息的基本要求1.来源须可靠，必须来源于实际，不能含有虚假、的成分。2.必须全面或较全面反映客观事物与过程，不得将片面、残缺的信息用于咨询。3.必须适合或基本适合选用的咨询方法。不同的咨询方法需要不同范围和时间段的信息。(三)信息来源1.网络和出版物从互联网上能够快速检索到最新、非常有价值的信息。当然，对这些信息必须特别注意加以鉴别，去伪存真。公开出版物同样发布大量有用的信息，例如行业年鉴、调查与统计报告、专题研究报告等。2.借阅与购买从合作单位、专门机构索取或购买资料是一种重要的信息来源。如到各种图书馆借阅文献与资料，购买国家或地方出版的综

3、合与行业统计年鉴，向某些调查机构索取或购买调查报告，向测量部门购买图片、航测或航拍图片，向地震部门购买地震分布资料，向水文、气象部门采购历年水文、气 象资料，向城市主管部门采购地理信息资料，向地质勘探部门采购地质勘探资料等。学员专用资料第 1页 /共 9页 3.自有信息咨询企业往往积累了大量宝贵信息，例如水文地质与地形勘察报告、可行性研究报告、监理报告、竞争企业情报、企业管理制度和报表模板等，不少咨询企业还拥有专利。【案例】背景资料某洗衣机生产企业为应对市场竞争，近年来一直以降低产品销售价格作为主要竞争策略。为了改善 经营业绩，该企业拟调整竞争策略，并为此聘请一家咨询公司对当地洗衣机市场进行分

4、析。咨询公司从 委托单位得到了部分资料，见表 2。 【问题】咨询信息的采集除了委托单位提供外，还有哪些采集途径?【答案】咨询信息的采集除了委托单位提供外，还包括：网络和出版物。借阅与购买。自有信息。三、“互联网+”背景下的工程咨询信息管理 (一)“互联网+”对工程咨询数据分析的作用一是提高工程咨询服务效率和水平。二是提高信息的准确性和及时性。三是有效控制工程咨询项目成本。(二)信息管理目的与任务信息管理的任务是了解信息使用者的具体需要，对信息进行全面的收集、适当的筛选、正确的分析、 恰当的整理和储存，并将适合需要的信息及时、准确、经济地交给各级工程咨询和决策人员。(三)信息管理技术与方法1.信

5、息管理基本做法基本办法不仅适用于以往的图书室、图书馆、馆、博物馆等，也适用于计算机数据库系统。例如，分类与编目方法。2.信息分类与编目对于工程咨询企业掌握的信息，有多种分类与编目方式。例如，按企业管理层次分类编目，按信息地图导航的方式编制目录。3.检索功能与权限信息管理系统必须有完善的查询功能，允许使用者以多种方式查询。为了信息的安全，查询系统应 当具备权限管理功能。学员专用资料第 2页 /共 9页 (四)现代信息管理技术1.建立数据库管理系统数据库管理系统一般由数据库语言、数据库管理程序和数据库使用程序三部分组成。数据库管理系统的功能因系统不同而有所差异，一般包括：定义数据库、装入数据库、操

6、作数据库、维护数据库、数据通信等。数据库管理系统可分为小型和大中型数据库；亦可分为关系数据库、面向对象数据库、工程数据库、多媒体数据库等。2.信息安全管理信息安全一般指信息的完整和用途是否得到了有效保护。保密有多种方式，主要有：1)咨询业务当事人事先签订保密协议，并严格执行；2)对信息库设置使用权限。第二节 信息采集途径和方法一、工程咨询信息采集途径调查方法可分为普查与抽样调查两大类，这两类都有文案调查、实地调查、问卷调查、实验调查等几种。文案调查是上述各种调查方法中最简单、最一般和常用的方法，也是其他调查方法的基础。实地调查能够控制调查过程，应用灵活，信息充分，但耗时长、费用多，调查对象易受

7、心理暗示影 响，不够客观。问卷调查适应范围广、简单易行、费用较低，得到了大量应用。实验调查最复杂、费用高、应用范围有限，但调查结果可信度较高。(一)文案调查法文案调查法是指对已经存在的各种资料，以查阅和归纳的方式进行的市场调查。文案调查法又 称二手资料或文献调查。文案资料来源很多，主要有：国际组织和政府机构资料；行业资料；公开出版物；相关企业和行业网站；有关企业的内部资料。(二)问卷调查法问卷调查法是调查人员以面谈、电话询问、网上填表或邮寄问卷等方式，了解调查对象的行为方式， 从而收集信息。问卷调查法是市场调查常用方法，尤其在消费者行为调查中大量应用，其核心工作是设计问卷，实施问卷调查。(三)

8、实地调查法实地调查法是调查人员通过跟踪、记录调查对象的行为取得第一手资料的方法。实地调查法是调查人员直接到市场或某些场所(商品展销会、商品博览会、商场等)亲身感受或借助于某些摄录设备和仪器，学员专用资料第 3页 /共 9页 跟踪、记录调查对象的活动、行为和事物的特点，获取所需信息资料。(四)实验调查法实验调查法是指调查人员在调查过程中，通过改变某些影响调查对象的因素，观察调查对象行为的 变化，从而获得消费行为和某些因素之间的内在因果关系。实验调查法主要用于消费行为的调查，企业推出新产品、改变产品外形和包装、调整产品价格、改变广告方式时，都可以用这种方法。【案例】背景资料某生产企业主要生产 A、

9、B 两类产品，目前市场对C 产品的需求在增加。据此，该企业拟投资建设 生产C 产品的项目。项目工作小组开展了相关工作，项目经理召集工作小组成员进行市场研究，大家讨 论得出的主要观点是：进行市场调查，只有通过实地调查才能获得有效的调查数据；【问题】分别判断项目工作小组成员的观点是否正确，简要说明理由。【答案】不正确，除实地调查法外，有效的市场调查方法还有文案调查法、问卷调查法、实验调查 法。【案例】背景资料某咨询公司接受A 公司委托，预测 2019 年A 公司目标市场地区的手机消费量，项目经理要 求：近期咨询人员的工作重点是采用文案调查和实地调查方法搜集信息资料，并采用网络信息挖掘技术 获取信息

10、，用于辅助诀策。【问题】1.除项目经理要求的信息资料搜集方法外，通常还有哪些搜集信息资料的方法？【答案】除项目经理要求的信息资料搜集方法外，还有问卷调查、实验调查等方法。第三节 信息鉴别一、信息鉴别信息鉴别就是辨认与甄别信息的真伪、轻重主次、是否完整、是否有用，以及用途大小等。二、信息鉴别常用方法(一)溯源法对到手信息涉及的问题应追根溯源，及时核对。例如，尽量找到现场和掌握第一手资料的人；核对 原始资料，并查对主要参考文献；按其中叙述的方法、步骤，重做实验或演算，以便从来源上找到鉴别 依据。工程咨询所需信息十分广泛，不可能也不必均由咨询人员鉴别。为了确保信息可靠，应尽可能选用权威机构发布或已鉴

11、定、批准的信息。例如，地质储量选用储量委员会批准的储量报告；地震带的分布 用国家地震局的数据；历史数据用国家的数据。一般来说，专业技术力量强的单位提供的信息较可靠。例如，国际金融组织的国际金融信息较可靠； 来自从事钢铁、汽车行业研究的机构的钢铁、汽车业信息较可靠。(二)比较法学员专用资料第 4页 /共 9页 有些信息受主客观条件限制难以溯源，可用比较法，即比较不同人、不同时间和其他方面的材料；对于某一事实，说法、结论如果一致，则基本可辨真伪。若否，就需进一步核查。(三)佐证法找到事物之间联系和制约因素，便可判断事物的真伪。分析信息产生的过程也是寻求信息佐证的办 法。1.普查数据一般比抽查数据全

12、面、准确。2.监测数据，长期比短期全面，监测范围大的数据比监测范围小的数据代表性强；勘探密度大的数 据比勘探密度小的数据准确，科学实验和仿真模拟计算的数据比一般推理的数据准确。3.核对来源不同，收集方法不同的数据。如图片、航测数据可用地面实测数据验证。4.对比不同时期、不同来源的数据，并适当修正其间的差距。同一对象的数据，计算的标准和口径 不同，可能造成数据之间存在很大差异。在对比这些数据时，必须查明统计口径，否则就会出错。5.由专家集体辨别信息是否准确，是否可靠。对于来自不同渠道不一致，甚至矛盾的信息，可请专 家集体讨论，去伪存真，取得一致意见。(四)逻辑法即逻辑判断。但是逻辑合理并不总能证

13、明事物为真。因此，必要时需借助其他手段。三、信息的综合采集来的信息经常是零散、无序，甚至残缺不全，无法直接使用。信息综合有两种方式：一是对已有信息挖掘、延伸，引发创新需求的新信息，达到信息的“增值”；二是通过设计和试验创造新的信息。【案例】背景资料一家咨询公司受某钢铁厂委托，为其所在地区的钢铁消费市场进行分析和预测，为了收集数据，咨 询公司分别走访了钢铁工业协会、钢铁研究院和省、市等相关部门，并收集到了该地区 2002-2004 年的钢铁销售额数据。如表 2 所示： 表 2 钢铁销售额数据表单位：百万元 年度季度200220032004第一季度465460第二季度726834第三季度94116

14、128第四季度586286【问题】根据上述资料初步判断该咨询公司所收集的数据是否可靠，并说明理由。咨询公司鉴别所 收集数据可靠性的常用方法有哪些？学员专用资料第 5页 /共 9页 【答案】根据上述资料初步判断该咨询公司所收集的数据应该是可靠的，应为钢铁工业协会、钢铁 研究院和省、市等相关部门都是具有权威性的机构，通过分析提供信息的单位背景可以认为是可 靠的，并且该公司还收集到了该地区 2002-2004 年的钢铁销售额数据。 咨询公司可以采用以下方法鉴别所收集数据的可靠性：溯源法、比较法、佐证法、逻辑法。第四节 数据分析与挖掘一、概述(一)信息分析信息分析有如下几种用途：1.跟踪。2.比较。3

15、.预测。4.评价。信息分析所用方法，可分为定性和定量分析两种。往往是定性与定量分析相结合。(二)数据分析数据分析的对象可分为时间序列和截面数据。如企业历年的咨询收入、利润总额等就是时间序列。截面数据是在同一时间的数据，如企业同一年咨询业务数目、营业额、费用、收入、人工耗费等。(三)数据挖掘数据挖掘就是从数据中挖掘出隐含、先前未知、有潜在用途，最终可为人理解的关系、模式、趋势 和其他有用信息，并建立模型，用于预测、判断或决策。二、数据统计分析统计分析，就是利用若干数字特征全面认识数据的统计规律。统计分析一般有如下工作或阶段。1.选择数字特征。2.收集并整理数据。3.计算数字特征。4.建立模型。5

16、.检验模型误差。6.利用模型预测。7.评价统计与预测结果。三、时间数据分析方法(一)时间数据时间数据也称时间序列或动态数据，是按时序排列的一组来自同一现象的观察值。学员专用资料第 6页/共 9页 (二)时间序列分析1.概述时间序列分析是根据随机过程理论，研究时间序列的统计规律。3.时间序列建模时间序列建模一般有如下几个步骤。(1)取得时间序列样本。(2)将样本点画成图，进行相关分析。(3)模式识别与拟合。(4)预测未来。四、大数据系统和数据挖掘技术(一)数据挖掘概述1.大数据大数据是指超过既往数据库系统规模、传输速度和处理能力，或者既往数据库系统结构无法容纳的 数据。大数据常以万亿或 EB 衡

17、量，且种类多、实时性强，蕴藏的商业价值大。 (二)数据挖掘步骤1.数据库与数据仓库挖掘数据挖掘一般有以下八个步骤。(1)信息收集。(2)数据集成。(3)数据规约。(4)数据清理。(5)数据变换。(6)数据挖掘。(7)模式评估。(8)知识表示。2.网络挖掘网络信息挖掘具体步骤如下：(1)确立目标样本。(2)提取特征信息。(3)网络信息获取。(4)信息特征匹配。【案例】背景资料学员专用资料第 7页/共 9页 某咨询公司接受A 公司委托，预测 2019 年A 公司目标市场地区的手机消费量，项目经理要 求：近期咨询人员的工作重点是采用文案调查和实地调查方法搜集信息资料，并采用网络信息挖掘技术 获取信息

18、，用于辅助诀策。【问题】1.网络信息挖掘的具体步骤有哪些？【答案】网络信息挖掘具体步骤如下：(1)确立目标样本。(2)提取特征信息。(3)网络信息获取。 (4)信息特征匹配。第五节 工程咨询知识管理一、工程咨询知识的特点1.数量多，种类庞杂。2.隐性知识难以提炼。隐性知识，特别是经验，需要积累，且常难以提炼和恰当表达。3.保密要求高。咨询企业获得客户大量信息，有些很敏感，客户不希望透漏给第三方。二、工程咨询企业知识管理(一)知识管理及知识管理的组织2.知识管理的必要性知识管理能够减少重复劳动，增强企业的记忆，丰富咨询企业的智慧。(1)竞争。咨询企业必须不断获得新知识，才能在竞争中立于不败之地。(2)以客户为中心。企业要为客户创造价值。(3)员工流动。员工流动会丧失员工在本企业工作期间获得的知识。(4)不确定性。咨询企业内外不确定因素众多，不能确信为客户提出的技术方案一定成功。3.知识管理的组织知识管理体系应当具备如下特征：(1)以人为本。(2)以无形资产为主要对象。(3)无间断的循环。(4)