信息分析 第2版 课件 文庭孝 第1-7讲 信息分析- 相关分析与回归分析法

2025/6/208:461信息分析本科生必修课程信息分析基础2025/6/208:462清明上河图空旷的天空问题：哪一幅图包含的信息量大？为什么？如何判断？信息分析基础潜在信息与显在信息信息（信息单元）：信息量的大小、充分与否-观察、获取、检索关系：信息单元间存在的关联推理：分析、判断、推断2025/6/208:463信息分析基础基本结论能看到的是显在信息，看不到的是潜在信息海量信息总是隐藏在深处和背后右图中潜在信息量比前者大一至两个数量级信息单元量及其关联系是信息分析的基础2025/6/208:464美国《华盛顿邮报》记者杜德尔利用信息分析提前一周获知苏联领导人安德罗波夫去世2025/6/208:465信息分析案例及启示杜德尔综合分析的7条信息2025/6/208:46（1）安德罗波夫有173天没有在公开场合露面，近几天还不时传出他身体状况不佳的消息；（2）苏联国防部长暂缓出访；（3）安德罗波夫之子被从瑞典召回；（4）这天晚上的电视节目不加说明地将原来安排的瑞典“阿巴”流行音乐改为严肃的古典音乐；（5）苏共新上任的高级官员耶戈尔·利加乔夫在一次向全国发表电视讲话时省略了苏联高级官员在电视讲话前必须转向安德罗波夫问候的习惯；杜德尔综合分析的7条信息（6）他驱车通过苏参谋部大楼与国防大楼时，发现几百扇窗户都异常地亮着灯，而且大楼附近增加了卫兵和巡逻队；（7）他的一位通知苏联高级官员活动内情的朋友没有能如期与他通电话。杜德尔把这一系列现象联系起来综合分析，并与1982年11月勃烈日涅夫逝世前的情况进行了比较分析，发现有许多惊人的相似，于是他得出结论：安德罗波夫已于星期四这一天去世了。2025/6/208:46信息分析案例及启示杜德尔是采用什么方法得出的结论？定性方法-因果关系-逻辑推断2025/6/208:462025/6/208:469信息分析的基础两个基本问题：如何理解信息分析？凭什么进行信息分析？或者说信息分析的依据是什么？2025/6/208:4610一、信息分析概述关于信息的理解：香农、维纳；本体论、认识论；自然信息与社会信息；信息链：信息链1：事实（现象）、符号（描述）、数据（原始记录）、信息（赋予意义）、知识（提炼转化）、情报（用于决策）、智慧或智能（提高能力）。信息链2：信息源、信息收集、信息整理、信息分析、信息产品、信息利用。信息分析基础2025/6/208:46香农提出了信息熵的概念，为信息论和数字通信奠定了基础。信息是用来消除人们认识上不确定性的东西。维纳控制论的创始人。信息就是信息，不是物质也不是能量。信息是人们在适应外部世界，并使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容和名称。信息分析基础本体论层次(Ontology)：客观信息、自然信息，

探寻世界的本原(物质宇宙与元宇宙)-信息是事物的运动状态与变化方式。认识论层次(Epistemology)：主观信息、社会信息、生物信息，认识的本质与规律-信息是事物的运动状态与变化方式在头脑中的反映。2025/6/208:46信息分析基础-诗咏信息美国MITRE公司资深信息系统工程师EdwardM.Housman写了一首关于信息的诗歌，叫《信息之性质》

，分为七篇描述了信息的属性特征。2025/6/208:46第一篇当我告诉你什么事的时候我俩之间的传递的就是信息。信息持续保有一段时间后，弱化遁入混沌。不弄出点噪声来，信息无法运动。笑就是信息在舞蹈。信息占据空间。还占据时间。信息的运动需要能量。信息对于生命、对于任何组织化的活动不可或缺。信息是无实质之形式，是无形之实质。两者都是信息。像光子一样，信息也有重量；信息分析基础第二篇信息涉及形态在空间和时间中的位移。洞见就是信息撞上了信息。信息意味着结构。信息可以历时运动，也可以凝固于时间中。信息是混沌云中水晶般的秩序。信息是对一个问题的令人满意的回答，或许这回答也令人不安。2025/6/208:46信息分析基础第三篇一块石头的重量，与用以描述它的信息是等价的。信息既是实质，又是形式；就像光既是波，又是粒子。信息具有固态；它可以冻结成刚性的东西（存储）。信息具有液态；它流动着-传播交流。它像物质一样慢慢衰坏（熵）。信息是雕塑，是用密码写入自然界的思想，是事实。在某处，信息运动着；宇宙隆隆作响，将事实吼叫出来。以自我为中心的人类，以为信息只是为人类而存在的。非也。2025/6/208:46信息分析基础第四篇有两种信息：自然信息和生物信息。没有它们，宇宙将是一片静谧的黑暗。第一种信息是比特在出击；飞机编成队形。是星星在呐喊：“我在这！”第一种信息不需要观察者。第二种对于生命至关重要，是生命的纤维。第二种信息是猫在对付其猎物，是花儿对着太阳绽放。信息造就了一切，造就了孩子，造就了战战競競。它是神秘伟大的生命力，驱使我们穿越智慧，走向死亡。2025/6/208:46信息分析基础第五篇同一信息可表达为不同方式：一种声音，一封信。不像物质，信息可以同时处于不同地方。握手是信息，点头、凝视、叹气也是。将两股比特流汇在一起便是信息。信息住在比特流中，住在纸上、石头上，住在姿势中。信息渴求媒介，渴求一片滚动的时空以栖居。2025/6/208:46信息分析基础第六篇信息很易混同于知识、确定性、智慧和数据。一幅画、一片景色、一种感觉之意义，是信息。信息在随机之海中闪耀。一个组织不是物理性的；其员工被信息所限定。没有信息，组织和任何组织化活动都是不可能的。2025/6/208:46信息分析基础第七篇噪声和随机性是信息的常伴。诗歌是立在雕塑基座上或装在人心里的一丛比特。诗歌是信息爆竹。诗歌是坚硬的、闪亮的信息金刚石。诗歌是压缩了的洞见，状态不稳，可能爆炸。2025/6/208:46信息分析基础信息链1：由事实（Facts，现象）→数据（Data，原始记录）→信息（Information，赋予意义）→知识（Knowledge，提炼转化）→“情报”、“智能”（Intelligence，决策，解决问题、提高能力）五个链环构成。2025/6/208:46信息分析基础信息链2：信息源、信息需求、信息采集、信息加工、信息存储、信息检索、信息传输、信息分析、信息利用、信息反馈。2025/6/208:46信息管理流程2025/6/208:4622信息分析基础关于分析的理解逻辑学：分析是一种方法，与综合对应，把对象或系统分解成部分或因素单独分析与理解，找出和发现规律、关系；信息管理：分析是一个过程，包括一系列流程、环节和活动。关于预测的理解预知、判断、预告、推理、推断；趋势外推：从已知到未知、现状到趋势、现在到未来、局部到整体、样本到整体、现象到本质、表层到潜在；凡事预则立，不预则废。2025/6/208:4623信息分析基础信息分析的依据一：思维逻辑-因果关系事物之间的关联：普遍联系；普遍联系的形式：时间：发展过程（时间序列）空间：位置关系（相邻、隶属，层次分析）逻辑：因果、矛盾、并列、对立、包含（回归分析）2025/6/208:4624信息分析基础信息分析的依据二：数理逻辑-大概率事件分析和推理的依据是信息：信息即事物发生的概率，亦称为概率信息。事物发生的概率：任何事物的发生都取决于概率，大概率事件发生的可能性高，小概率事件发生的可能性小。我们称之为成功产生成功原理。但也有例外，如黑马效应。香农：信息论—信息是用于消除不确定性的东西。不确定性即概率。如抛硬币、掷骰子。信息分析基础2025/6/208:46信息分析基础2025/6/208:46Xi——表示第i个状态（总共有n种状态）；P(Xi)——表示第i个状态出现的概率；H(X)——表示用以消除这个事物的不确定性所需要的信息量。信息分析1.1概念及理解1.2对象1.3思维模式1.4要素1.5作用1.6流程2025/6/208:461.7信息分析的原理1.8理论依据/理论基础1.9信息分析的内容1.10信息分析的方法1.11信息分析的工具1.12信息分析的应用与案例2025/6/208:46281.1信息分析的概念及理解信息分析的概念信息：自然信息和社会信息、本体论信息和认识论信息。分析：把事物、现象、概念等整体分解成较简单的组成部分，找出组成部分的本质属性和彼此间的关系。信息分析：通过对搜集到的零散的原始数据和信息进行识别、鉴定、筛选、浓缩等加工整理及系统深入的分析和研究，挖掘隐藏于信息、数据中的规律、情报和知识，提供针对性、预测性、科学性、综合性和可用性结论或方案，为管理和决策服务。2025/6/208:46291.1信息分析对信息分析的理解广义的信息分析：指在搜集和占有信息、数据的基础上进行整理、排序、筛选、组织、存储、加工、分析和研究，发现新知识和情报的过程。狭义的信息分析：指信息分析的各个环节，包括信息整理、排序、筛选、组织、存储、加工、分析和研究等。信息分析的学科差异：—情报学：情报分析、情报研究；—经济学：市场分析、市场预测；—统计学：数据分析、统计分析；—计算机：数据挖掘、知识发现。2025/6/208:46301.1信息分析信息分析的对象原始及衍生数据——信息、知识、情报、智慧事物及其现象——本质、属性、特征、规律、联系信息分析的思维模式以数据和现象为分析对象：从全样本或总体样本中选择部分样本——样本分析采用定性和定量方法及数学、统计学模型拟合样本特征和规律——逻辑推理与模型拟合发现样本数据和现象的本质、规律、特征、属性、联系并进行趋势外推，扩大到样本整体——因果分析与趋势外推2025/6/208:46311.1信息分析信息分析的要素——从成因来看：源于社会信息需求；——从本质来看：发现数据和现象的特征、属性、规律和关联；——从方法来看：定性分析和定量分析方法，由科学逻辑思维方法、统计学方法、情报学方法等学科方法组成；——从过程来看：需要经过搜集、整理、排序、筛选、组织、存储、加工、分析和研究等一系列环节和程序；——从成果来看：需要产生新的增值信息产品，即知识、情报、方案、报告等；——从目的来看：为科学管理和决策服务。2025/6/208:46321.1信息分析信息分析的作用：基本功能——整理功能：序化；——评价功能：现状；——预断功能：预测；——反馈功能：控制。主要作用——鉴别和筛选作用：判断数据和信息的真实性和价值；——排列和整序作用：通过组织反映关联、本质和规律；——监视和预警作用：监视竞争对手，预防威胁和不利；——参谋和导航作用：决策参谋，信息导航。2025/6/208:46331.1信息分析▼信息分析流程2025/6/208:46341.1信息分析信息分析的原理信息分析的基础：事物之间的关系，即事物、现象、数据、信息等的属性、特征、本质、规律、关联；关系是指事物之间因为秩序、结构、运动等产生的联系，包括时间、空间、发生和发展逻辑（流程，如工业流程、业务流程等；规律，如生命体的生老病死循环、自然运动规律等）。事物之间关系的类型——不确定关系：相关关系，定性分析——确定性关系：数量关系，定量分析——直接、显在关系：可以发现——间接、隐含关系：难以发现2025/6/208:46351.1信息分析信息分析的理论依据——事物和现象之间的普遍联系：唯物辩证法；——人与人之间的普遍联系：小世界现象、社会网络分析；——事物发展的基本规律：继承性和发展性，发展观，扬弃；——事物和现象之间的因果关系：归纳、演绎、穆勒五法；——事物和现象之间的相似性：类比、想象、联想；——事物和现象之间的数量关系：统计学和数学模型；——“信息有限理性”假设（注意力导致信息收集偏向，主观能力导致信息解读偏差）。1.1信息分析情报学最重的假设是“信息有限理性”假设。有限理性是指相对信息的规模、复杂性而言，人类处理信息能力的局限性。因此，人类的决策在很多情况下不可能是理性的。只可能在收集信息和解读信息时进行选择，即信息选择具有偏好或偏向性，只关注自身注意到的信息，信息解读受自身主观能力制约。2025/6/208:461.1信息分析注意力导致信息收集偏向人们看到什么，看不到什么，取决于注意力聚焦，只有注意到的信息才会被看到。1978年诺奖得主西蒙指出：“信息消耗接收者的注意力。大量

信息造成注意力缺乏，需要在可能消耗注意力过多信息源中分配注意力。”由于人只有有限的注意力、记忆力和和信息加工能力，不管外面有多少信息，他都只能收集和分析其中很小的一部分。亚西米罗认为：“决策者和情报界在收集信息时都存在信息过滤现象。”2025/6/208:461.1信息分析信息注意力聚焦的影响因素：预期（假设）：与自身预期一致的信息容易被接收和理解认知图式（思维模式）：心智模式、分析假设（基于过去的、现在的或预计的外部现象或经验建立内部概念）先验知识：教育、知识结构和过去的经验（信息分析人员比较容易注意到其经历过的东西，忽略其不了解的东西）环境：科技、经济、社会、安全等信息特征：显著性、差异性、可及性、生动性和易处理性（内容和形式特征），信息在感觉、空间、时间上的可接近性。人际关系网络：正式的和非正式

人际关系网络都是重要的信息源。2025/6/208:461.1信息分析解读能力影响信息偏差信息分析和情报研究的核心是通过意义建构解读信息。意义建构是将线索放入思维框架中以获取意义的过程。在意义建构过程中，人不只是被动、消极、机械的信息观察者和接收者，而是积极的行动者，他们把自己的观点、看法、经验等投射到信息上，进行创造，对获得的信息解读具有强的主观性。-信息建构2025/6/208:461.1信息分析信息解读能力的影响因素：预期（假设）：倾向于感知和预期感知的东西认知图式（思维模式）：概念图式、心智模式、思维模式差异影响信息理解先验知识：教育、知识结构和过去的经验积累环境：背景、语境、语义影响信息理解信息特征：显著性、差异性、可及性、生动性和易处理性（内容和形式特征），信息在感觉、空间、时间上的可接近性。人际关系网络：信息意义建构受内部行为（认知）和外部行为（过程）共同影响，社会网络、社会互动、共同语言、共同兴趣、思维依赖等影响信息解读。2025/6/208:462025/6/208:4641信息分析的内容信息分析概述：概念、类型、作用、流程信息分析的本质与原理信息分析的方法与工具信息分析的应用与案例1.1信息分析2025/6/208:46421.1信息分析信息分析方法逻辑学的方法系统分析的方法图书情报学的方法社会学的方法统计学的方法2025/6/208:4643信息分析方法的层次

哲学方法一般方法具体方法1.1信息分析2025/6/208:4644信息分析方法的层次

哲学基础定性方法定量方法定性与定量相结合的方法分类与比较综合与分析归纳与演绎创造思维抽象思维灵感思维直接思维时间序列分析多元分析信息计量分析系统分析投入产出分析趋势外推相关分析层次分析德尔菲法交叉影响分析系统动力学方法内容分析哲学方法一般方法具体方法1.1信息分析2025/6/208:46451.1信息分析信息分析方法体系相关分析回归分析聚类分析因子分析引文分析信息计量分析时间序列分析……社会调查法历史比较法逻辑思维法抽象思维法因素分解法……层次分析法德尔菲法内容分析法关联分析法系统动力学交叉影响分析……信息分析方法相关分析预测技术评估技术以定性为主定性定量结合以定量为主2025/6/208:46461.1信息分析信息分析工具逻辑思维和科学思维：推理工具统计学和数学模型社会调查和专家调查：问卷数据库和计算机数据挖掘2025/6/208:46471.1信息分析信息分析应用与案例20世纪40年代，德国的雅各布利用地方报纸准确分析出德国兵力分布情况。20世纪50年代，日本利用信息分析准确判断我国大庆油田地址和产油量，并在油井钻探设备出口中提高价格，获得巨额利润。20世纪60年代，美国的兰德公司利用德尔菲法准确预测苏联人造卫星上天，前后只相差一个星期。20世纪80年代，美国利用信息分析准确预测苏联领导人勃列日涅夫去世后的下一届领导人安德罗波夫会当选。20世纪80年代，奈斯比特利用内容分析法对美国发行的200万份报纸进行信息分析，得出影响2000年全球人类生活的十大趋势。20世纪90年代，美国总统顾问委员会召集7名专家，对美国公开出版发行的报纸、期刊等信息进行分析，准确评估了美国的军事实力。1.1信息分析岗位2025/6/208:46国家信息分析师职业信息分析师竞争情报分析员专利情报分析员专利代理人数据分析2025/6/208:4649本科生必修课程数据分析2.1数据及其理解2.2数据分析的概念2.3数据分析的分类及作用2.4数据分析的步骤2.5数据分析的模型2.6数据分析的方法2.7数据分析岗位2.8数据分析的内容2.9数据分析的素质要求2.10数据分析工具与平台2025/6/208:462.1数据及其理解数据的概念在计算机科学领域，数据是指可以输入计算机中并被计算机程序处理的符号。数据除数字外，还包括字母、符号、模拟量等。狭义的数据是指数字，广义的数据泛指所有定性或定量的描述。有据可查的数字才是数据。关于数据的理解代表性数据定义如下表。2025/6/208:462.1数据及其理解2025/6/208:462.1数据及其理解完整数据的三要素：数据来源（从哪里来）采集方式（以何种方式收集）记录格式（以何种形式记录、单位及字段类型是什么）2025/6/208:462.2数据分析的概念数据分析的概念数据分析是指运用统计分析方法将收集来的数据进行分析，以求最大化开发数据功能，发挥数据作用的过程。数据分析就是用特定的技术、方法和手段，将隐藏在大量杂乱无章的数据背后的有效信息集中和提炼出来，使之尽可能接近真相的过程。2025/6/208:462.3数据分析的类型及作用数据分析的类型数据分析可分为三种：描述性数据分析探索性数据分析验证性数据分析2025/6/208:462.3数据分析的类型及作用数据分析的作用现状分析：体现发展水平原因分析：反映因果关系预测分析：进行趋势预测2025/6/208:462.4数据分析的步骤数据分析的步骤：六个环节2025/6/208:46回归分析：变量间的函数关系及其推理时间序列分析：以时间为自变量的数据关系及其趋势外推2.5数据分析的模型数据分析的理论模型数学和统计学模型相关系数回归模型：线性、非线性时间序列模型聚类模型：相似度、距离矩阵：向量模型概率模型2025/6/208:462.5数据分析的模型数据分析的理论模型用户使用行为分析模型2025/6/208:462.5数据分析的模型数据分析理论模型SWOT分析模型:strenths,weaknesses,opportunities,threats2025/6/208:462.5数据分析的模型数据分析理论模型PEST分析模型政治环境(political)经济环境(economic)社会环境(social)技术环境(technological)2025/6/208:462.5数据分析的模型数据分析理论模型5W2H分析模型2025/6/208:462.6数据分析的方法数据分析方法基于数据分析作用的分析方法2025/6/208:462.6数据分析的方法数据分析方法基于数据分析对象的分析方法2025/6/208:462.7数据分析的岗位2025/6/208:4665数据分析岗位2.7数据分析的岗位2025/6/208:4666数据分析师的级别：1、数据跟踪员：机械拷贝数据，很少处理数据2、数据查询员/处理员：数据处理没，缺乏数据解读能力3、数据分析师：解读数据，定位问题提出答案4、数据应用师：将数据还原到产品中，为产品所用5、数据规划师：走在产品前面，让数据有新的价值方向2.8数据分析的内容2025/6/208:4667数据分析的主要内容2.8数据分析的内容2025/6/208:46682.9数据分析的素质要求数据分析的素质要求：态度严谨负责（客户信任）好奇心强烈（分析为什么）逻辑思维清晰（结构为王）擅长模仿（借鉴他法）勇于创新（超越自我）2025/6/208:46692.10数据分析的工具与平台数据分析工具与平台（1）公开数据库：-国家数据http:///index.htm2025/6/208:46数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。2.10数据分析的工具与平台-CEIC/zh-hans2025/6/208:46最完整的一套超过128个国家的经济数据，能够精确查找GDP,CPI,进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。2.10数据分析的工具与平台-wind（万得）/2025/6/208:46被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。2.10数据分析的工具与平台-搜数网/2025/6/208:46已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行业自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。2.10数据分析的工具与平台-中国统计信息网/2025/6/208:46国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。2.10数据分析的工具与平台-亚马逊aws-/cn/datasets/?nc1=h_ls2025/6/208:46来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。2.10数据分析的工具与平台-figshare-/2025/6/208:46研究成果共享平台可以获取研究数据，内容很有启发性，网站颇具设计感。2.10数据分析的工具与平台-github-/caesar0301/awesome-public-atasets2025/6/208:46包含各个学科细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，是做研究和数据分析的利器。2.10数据分析的工具与平台2025/6/208:462.10数据分析的工具与平台（2）数据交易平台-国云数据市场/data-market/2025/6/208:46魔镜数据市场涵盖亿万免费数据，包括期货交易数据、通信数据、教育数据等综合数据，为使用者提供更大的发挥空间，还囊括建筑行业、运输和邮电业、旅游业、科技、文化、批发和零售等30大行业精品数据，魔镜会员1元即可体验。2.10数据分析的工具与平台-优易数据/2025/6/208:46由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。2.10数据分析的工具与平台数据堂/2025/6/208:462.10数据分析的工具与平台（3）网络指数-百度指数/2025/6/208:46可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。类似的还有搜狗、360指数等。2.10数据分析的工具与平台-阿里指数/2025/6/208:46国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察具有重要意义。2.10数据分析的工具与平台-爱奇艺指数/2025/6/208:46专门针对视频的播放行为、趋势分析的平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。2.10数据分析的工具与平台-猫眼专业版/2025/6/208:46电影票房统计分析平台，猫眼专业版有实时的票房统计，影片的排盘情况、上座率和影院数据。2.10数据分析的工具与平台-八爪鱼/2025/6/208:462.10数据分析的工具与平台-集搜客/2025/6/208:46能够抓取网页文字、图表、超链接等多种网页元素，提供好用的网页抓取软件、数据挖掘攻略、行业资讯和前沿科技等。2.10数据分析的工具与平台（5）数据导航-数据分析网导航/hao2025/6/208:462.10数据分析的工具与平台-199IT大数据导航/2025/6/208:46包括各类指数、数据库、排行榜、数据工具2.10数据分析的工具与平台-大数据人导航http://hao.bigdata.ren/2025/6/208:462.10数据分析的工具与平台（4）网络数据采集器-火车采集器/2025/6/208:46一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据，最常用的就是采集某些网站的文字、图片、数据等在线资源。大数据分析2025/6/208:4692本科生必修课程大数据分析3大数据分析3.1大数据的概念与特点3.2大数据分析的理解3.3大数据分析问题3.4大数据技术3.5大数据处理3.6大数据环境下信息分析与数据分析的变化3.7大数据分析与信息分析比较2025/6/208:4693案例及启示：可怕的大数据一男子情人节买比萨，打了个电话，然后彻底崩溃了……大数据时代，谁来保护我们的隐私？必胜客店的电话铃响了。客服拿起电话：必胜客。您好！请问有什么需要我为您服务？顾客：你好！我想要一份……客服：先生，请先把您的会员卡号告诉我，好吗？顾客：16846146***。客服：王先生，您好！您住在泉州路一号12楼1205室。您家电话是2646****，您公司电话是4666****，您的手机是1391234****。请问您想用哪一个电话付费？顾客：你为什么知道我所有的电话号码？客服：王先生，因为我们联机CRM系统。顾客：我想要一个海鲜比萨……客服：王先生，海鲜比萨不适合您。2025/6/208:46案例及启示：可怕的大数据顾客：为什么？客服：根据您的医疗记录，你的血压和胆固醇都偏高。顾客：那你有什么可以推荐的？客服：您可以试试我们的低脂健康比萨。顾客：你怎么知道我会喜欢这种的？客服：您上星期一在国家图书馆借了一本《低脂健康食谱》。顾客：好。那我要一个家庭大号比萨。客服：王先生，大号的不够吃。顾客：为什么？客服：因为您家一共有六口人。来个特大号的，怎样？顾客：要付多少钱？客服：99元。这个足够您一家六口吃了。但您母亲应该少吃，她上个月刚刚做了心脏搭桥手术，还处在恢复期。2025/6/208:46案例及启示：可怕的大数据顾客：那可以刷卡吗？客服：王先生，对不起。请您付现款。顾客：你们不是可以刷卡的吗？客服：一般是可以的。但是您的信用卡已经刷爆了，您现在还欠银行4807元，而且还不包括您的房贷利息。顾客：那我先去附近的提款机提款。客服：王先生，根据您的记录，您已经超过今日提款限额了。顾客：算了，你们直接把比萨送我家吧，家里有现金。你们多久会送到？客服：大约30分钟。如果您不想等，可以自己骑摩托车来取。顾客：为什么？客服：根据我们CRM全球定位系统车辆行驶自动跟踪记录显示，您登记的一辆车号为SB-748的摩托车，目前正在解放路东段华联商场右侧行驶，离我们店只有50米。2025/6/208:46案例及启示：可怕的大数据顾客：好吧（头开始晕）。客服：王先生，建议您再带一小份海鲜比萨。顾客：为什么？你不是说我不能吃吗？客服：根据我们CRM通讯系统分析，今天您与一位女性通话频率高、时间长，今天又是2.14，我们分析应该是您的情人。而这位手机用户近来一直买的是海鲜比萨，她应该喜欢这种口味。顾客：……客服：您最好现在就送回家，否则您就不方便出来了。顾客：为什么？客服：根据我们定位系统，您的爱人大约30分钟后到家。顾客：我为什么要出来？客服：您已在汇峰酒店定了今晚的房间，估计您是与情人约会吧？顾客：当即晕倒……2025/6/208:46案例及启示：大数据经典案例1。啤酒与尿布全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。“啤酒＋尿布”的数据分析成果已成为大数据技术应用的经典案例。2。数据新闻让英国撤军2010年10月23日《卫报》利用维基解密的数据做了一篇“数据新闻”。将伊拉克战争中所有的人员伤亡情况均标注于地图之上。地图上一个红点便代表一次死伤事件，鼠标点击红点后弹出的窗口则有详细的说明：伤亡人数、时间，造成伤亡的具体原因。密布的红点多达39万，显得格外触目惊心。一经刊出立即引起朝野震动，推动英国最终做出撤出驻伊拉克军队的决定。2025/6/208:46案例及启示：大数据经典案例3。意料之外：胸部最大的是新疆妹子淘宝数据平台显示，购买最多的文胸尺码为B罩杯。B罩杯占比达41.45%，其中又以75B的销量最好。其次是A罩杯，购买占比达25.26%，C罩杯只有8.96%。在文胸颜色中，黑色最为畅销。以省市排名，胸部最大的是新疆妹子。4。QQ圈子把前女友推荐给未婚妻2012年3月腾讯推出QQ圈子，按共同好友的连锁反应摊开用户的人际关系网，把用户的前女友推荐给未婚妻，把同学同事朋友圈子分门别类，利用大数据处理能力给人带来“震撼”。5。“魔镜”预知石油市场走向“魔镜”是苏州国云数据科技公司的一款牛逼的大数据可视化产品，而且是国内首款。“魔镜”可以通过数据的整合分析可视化不仅可以得出谁是世界上最美的女人，还能通过价量关系得出市场的走向。在不久前，“魔镜”帮助中石等企业分析数据，将数据可视化，使企业科学的判断、决策，节约成本，合理配置资源，提高了收益。2025/6/208:46案例及启示：大数据经典案例6。Google成功预测冬季流感2009年，Google通过分析5000万条美国人最频繁检索的词汇，将之和美国疾病中心在2003年到2008年间季节性流感传播时期的数据进行比较，并建立一个特定的数学模型。最终google成功预测了2009冬季流感的传播甚至可以具体到特定的地区和州。7。大数据与乔布斯癌症治疗乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延长了好几年的生命。8。奥巴马大选连任成功2012年11月奥巴马大选连任成功的胜利果实也被归功于大数据，因为他的竞选团队进行了大规模与深入的数据挖掘。时代杂志更是断言，依靠直觉与经验进行决策的优势急剧下降，在政治领域，大数据的时代已经到来；各色媒体、论坛、专家铺天盖地的宣传让人们对大数据时代的来临兴奋不已，无数公司和创业者都纷纷跳进了这个狂欢队伍。2025/6/208:46案例及启示：大数据经典案例9。微软大数据成功预测奥斯卡21项大奖2013年，微软纽约研究院的经济学家大卫•罗斯柴尔德（DavidRothschild）利用大数据成功预测24个奥斯卡奖项中的19个，成为人们津津乐道的话题。今年罗斯柴尔德再接再厉，成功预测第86届奥斯卡金像奖颁奖典礼24个奖项中的21个，继续向人们展示现代科技的神奇魔力。10。超市预知高中生顾客怀孕明尼苏达州一家塔吉特门店被客户投诉，一位中年男子指控塔吉特将婴儿产品优惠券寄给他的女儿——一个高中生。但没多久他却来电道歉，因为女儿经他逼问后坦承自己真的怀孕了。塔吉特百货就是靠着分析用户所有的购物数据，然后通过相关关系分析得出事情的真实状况。2025/6/208:46案例及启示：大数据挖掘应用案例例1：Farecast通过对于机票数据的趋势变化情况，提供票价预测的服务，目前公布准确度高达75%，现在被微软收购，整合在了bing的搜索中。例2：Xoom是从事跨境汇款业务的公司，处理过的一个案例是，单独看一笔交易是合法的，但是重新检查了所有的数据之后，发现犯罪集团正在进行咋骗。例3：hadoop分析VISA的数据，将原来需要一个月的时间缩短为13分钟。例4：亚马逊三分之一的销售额来自个性化推荐系统。例5：UPS有6W辆车，通过对车俩损害的数据挖掘，能够及时的预测那些车辆需要维修，达到预警的目的。例6：美国零售商发现飓风与蛋挞的关系，提高飓风预防商品销量。2025/6/208:46案例及启示：大数据挖掘应用案例例子7：日本通过研究驾驶员的坐姿数据，用来作为汽车防盗系统中。例子8：UPS通过对于位置数据的分析，获取最佳行车路径。例子9：IBM开发了一套复杂的预测模型，完成了电动汽车动力与电力供应系统的预测。例子10：微软和谷歌以及百度等搜索引擎的拼写检查以及纠错提示，有效的利用的数据废气。例子11：巴诺通过分析人们在阅读的时候的行为，得出人们往往会放弃长篇幅的非小说类书籍。例子12：The-numbers通过对于历史电影相关的数据的相关关系，来预测电影票房。2025/6/208:463.1大数据的概念大数据的概念“大数据”是一个体量特别大、数据类别特别复杂的数据集，无法用传统数据库工具对其内容进行抓取、管理和处理。亚马逊网络服务（AWS）、大数据科学家JohnRauser：大数据就是任何超过了一台计算机处理能力的庞大数据量。麦肯锡的定义：“大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群或数据集”。维基百科（Wikipedia）：“大数据是难以用现有的数据库管理工具处理的兼具海量特征和复杂性特征的数据集成。”2025/6/208:461043.1大数据的概念与特点涂子沛的定义：指那些大小已经超出了传统意义上的尺度，一般的软件工具难以捕捉、存储、管理和分析的数据，认为一般应该是“太字节”的数量级。阿里创始人马云：大数据就是一种服务。“大数据”研究机构Gartner（高德纳）：大数据是需要新处理模式才能具有更强的决策力、洞察力、发现力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”指的是无法使用传统流程或工具处理或分析的数据和信息。瑞士达沃斯世界经济论坛报告《大数据，大影响（BigData,BigImpact）》：大数据就象货币和黄金一样，是一种新型的经济资产。

2025/6/208:463.1大数据的概念与特点对大数据的理解从存在形态看：大数据分为可以用二维表反映的结构化数据和不能以二维表反映的非结构化数据，如音频、视频、图像、实物等。从数据来源看：大数据可分为行政记录数据、商业记录数据、互联网及搜索引擎数据三大类。——行政记录数据包括个人信息记录数据、单位信息记录数据和自然资源记录数据等；——商业记录数据包括电子商务交易数据，企业生产经营数据和信息咨询报告数据等；——互联网数据则包括搜索引擎数据，新闻媒体数据和社交平台数据等。2025/6/208:461063.1大数据的概念与特点从与传统数据比较来看：——大数据多是自动化或半自动化生成；——数据搜集、处理、存储和分析能力已极大提高；——数据主体和来源日趋多元化；——非结构化数据占绝大多数；——需要大量过滤才能提取有用价值；——隐私与安全也存在着巨大隐患。

从数据类型来看：由文字、声音、视频、多媒体、流媒体等组成的结构化、半结构化和非结构化数据和信息。2025/6/208:461073.1大数据的概念与特点大数据的主要来源：各类通信终端电脑：台式机、移动PC、服务器网络：因特网、内联网、外联网、物联网、车联网手机：文字、音频、视频、多媒体、流媒体平板电脑：IPAD，文字、音频、视频、多媒体、流媒体拍摄设备：录音机、录像机、摄像机GPS：地理信息系统云计算、网格可穿戴设备……2025/6/208:461083.1大数据的概念与特点大数据的主要来源大数据主要产生于超大规模的网络数据、移动数据、射频采集数据、社会计算数据。行业领域：医疗卫生、地理信息、电子商务、影视娱乐、天文、科学研究、交通运输、教育、政府管理等领域每天也都在创造着大量的数据。2025/6/208:461093.1大数据的概念与特点大数据的计量单位Byte（1字节）KB（千字节，2的10次方）MB（兆字节，2的20次方）GB（吉字节，2的30次方）TB（太字节，2的40次方）PB（拍字节，2的50次方）EB（艾字节，2的60次方）ZB（泽字节，2的70次方）2025/6/208:461103.1大数据的概念与特点大数据体量Gartner（高德纳）公司研究认为，新产生的数据量每年正以至少50%的速度递增，使得每年新增的数据量不到两年就翻一番。Cisco（思科）公司在一份报告中推测2015年仅移动数据量将会突破每月6EB，等于60亿GB。据麦肯锡全球研究院IDC最新的数据测算，到2020年，世界上的数据存储总量达到35ZB，等于35万亿GB。文献增长定律：至2010年，全世界信息总量几乎每1小时翻一番。摩尔斯定律：计算机芯片存储容量每18个月翻一番，价格下降一半。摩尔斯修正定律：计算机芯片存储容量每24个月翻一番，价格下降一半。2025/6/208:461113.1大数据的概念与特点淘宝网站每天的交易达数千万，数据量超过50TB。百度公司每天大约要处理60亿次搜索请求，数据量达几十PB。一个8Mbps的摄像头一小时能产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。2025/6/208:461123.1大数据的概念与特点大数据的特征：6V+1C数据体量大(Volume)：从GB、TB级跃升到PB、EB级；类型多样化（Variety）：包括文字、网络日志、音频、视频、图片、地理位置等结构化、半结构化、非结构化异构信息；处理速度快（Velocity）；应用价值大（Value）；获取与发送自由灵活（Vender）；准确性(veracity)；处理和分析难度大（Complexity）：复杂化。2025/6/208:461133.2大数据分析的理解大数据的产生与发展：大致可以分为三个阶段一是20世纪80年代至90年代中期，是大数据认知的萌芽阶段。1980年，美国著名未来学家阿尔文·托夫勒在《第三次浪潮》一书中将大数据盛赞为“第三次浪潮的华彩乐章”。二是20世纪90年代中期到21世纪前10年，是大数据广受各界关注的阶段。美国高德纳（GartnerGroup）公司的分析师道格拉斯·兰尼（DouglasLaney）2001年首次从大数据的特征的角度对大数据进行了相对明确的定义，强调大数据必须具备3V特征，即容量大、多样化和速度快。三是2010年至今，是大数据战略应用被提上日程并迅速发展的阶段。美国总统科学技术顾问委员会于2010年给奥巴马总统和国会呈报了题为《规划数字化的未来》的报告。麦肯锡公司于2011年发布了《大数据：创新、竞争和生产力的下一个前沿》的报告。2012年更是一个重要年份。1月，瑞士达沃斯世界经济论坛发布报告《大数据大影响》；3月，美国奥巴马政府颁布了《大数据的研究和发展计划》；5月，联合国秘书长执行办公室发布了《大数据促发展：挑战与机遇》的报告；6月，经合组织OECD统计委员会第9届会议发布《使用大数据作决策》研究报告；各国都制订了大数据发展国家战略。2025/6/208:461143.2大数据分析的理解国内外大数据产生与发展“大数据”（Bigdata）是继“云计算”之后IT行业最热的词汇。2007年，国外学者开始关注“大数据”。2008年9月，《nature》杂志发表了“BigData:Scienceinthepetabyteera”系列专题文章，提出了“大数据”的概念。随后“大数据”一词在IT行业流行开来。“大数据”这一术语最早可追溯到apacheorg的开源项目Nutch。当时，大数据用来描述更新网络搜索需要同时进行批量处理或分析的大量数据集。2010年，随着谷歌MapReduce和GoogleFileSystem（GFS）的发布，大数据不仅用于描述大量的数据，还涵盖了处理数据的速度，被称为大数据元年。2012年10月《哈佛商业评论》刊登了一篇“大数据”专题文章《数据科学家：21世纪最性感的职业》，文章指出，“数据科学家”的主要工作就是在大数据上找出有用的信息。2013年则可以称为中国统计的大数据元年。7月，“大数据时代统计学：机遇与挑战——中国统计学高端论坛”在上海财经大学举办；10月，主题为“大数据背景下的统计”的第十七次全国统计科学讨论会在杭州举行；11月，国家统计局与阿里、百度等11家企业签署了大数据战略合作框架协议。

2025/6/208:461153.2大数据分析的理解大数据分析(BigDataAnalytics，BDA)是指对海量、类型多样、增长快速且内容真实的数据（即大数据）进行分析，从中找出可以帮助决策的隐藏模式、未知的相关关系以及其他有用信息的过程。大数据分析的思维模式——以大数据为分析对象：全样本、总体样本——全样本分析——以数据库、数据挖掘和知识发现算法为工具——数据挖掘——发现数据中隐含的规律、联系——相关分析与关联发现大数据分析的核心——注重数据非定量分析——关注多源数据融合——强调相关性分析2025/6/208:461163.2大数据分析的理解大数据分析：三大理念要全体不要抽样：抽样割裂了数据之间的联系；要效率不要精确：在海量数据时代，时间和成本比精确结果更有意义；要相关不要因果：知道是什么比知道为什么更重要。如股票信息，根据大数据分析很容易知道涨还是跌，但很难知道为什么会涨或跌。2025/6/208:461173.2大数据分析的理解大数据分析大数据分析的对象是总体样本或全样本。大数据分析的目的通过分析获取更多智能的、深入的、潜在的、有价值的信息。大数据分析方法是决定最终信息是否有价值的决定性因素。大数据分析的基础：——数据挖掘算法；——趋势预测和关联发现：如谷歌对流感的预测；——数据质量；——数据管理；——可视化展示。2025/6/208:461183.3大数据分析问题2025/6/208:461193.4大数据分析技术解决大数据问题的核心是大数据技术。大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术集。2025/6/208:462025/6/208:461213.4大数据分析技术3.4大数据分析技术大数据技术大数据关键技术：——数据采集技术：负责将分布的、ETL（extract、transform、load）异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

2025/6/208:461223.4大数据分析技术——数据存取技术：关系数据库、NOSQL、SQL等。——基础架构：云存储、分布式文件存储等。——数据处理技术：自然语言处理(NLP，NaturalLanguageProcessing)是研究人机交互语言问题的一门学科。处理自然语言的关键是要让计算机“理解”自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguageUnderstanding)，也称为计算语言学(ComputationalLinguistics。也是人工智能(AI,ArtificialIntelligence)的核心课题。2025/6/208:461233.4大数据分析技术——统计分析技术：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等。——数据挖掘技术：分类（Classification）估计（Estimation）预测、（Prediction）、相关性分组或关联规则（Affinitygroupingorassociationrules）聚类、（Clustering）描述和可视化、DescriptionandVisualization）、复杂数据类型挖掘(Text,Web,图形图像，视频，音频等)。——模型预测技术：预测模型、机器学习、建模仿真。——结果呈现技术：云计算、标签云、关系图、可视化等。2025/6/208:461243.5大数据处理大数据处理：四个基本步骤大数据处理之一：大数据采集——大数据采集是指利用多个数据库来接收发自客户端（Web、App或者传感器等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理。如电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据。——大数据采集的主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作。如火车票售票网站和淘宝，并发的访问量在峰值时达到上百万，需要在采集端部署大量数据库才能支撑。

2025/6/208:461253.5大数据处理大数据处理之二：导入/预处理——数据采集端本身有很多数据库，但无法对海量数据进行有效分析，必须将数据导入到一个集中的大型分布式数据库或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。——用户在导入数据时也会使用来自Twitter的Storm来对数据进行流式计算，满足部分业务的实时计算需求。——数据导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。2025/6/208:461263.5大数据处理大数据处理之三：统计/分析

——统计与分析主要是利用分布式数据库或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。——实时性需求可能会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理或者基于半结构化数据的需求可以使用Hadoop。——数据统计与分析的主要特点和挑战是分析涉及的数据量大，对系统资源，特别是I/O会有极大的占用。

2025/6/208:461273.5大数据处理大数据处理之四：数据挖掘——数据挖掘一般没有什么预先设定好的主题，主要是对现有数据进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。——比较典型的挖掘算法有：用于聚类的Kmeans算法、用于统计学习的SVM算法和用于分类的NaiveBayes算法。——主要工具有Hadoop、Mahout、Mapreduce等。——数据挖掘的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用的数据挖掘算法都是以单线程为主，不能满足大数据挖掘的需要。

2025/6/208:461283.6大数据时代信息分析的变化大数据时代信息分析的变化变化一：分析对象的变化。大数据处理和分析的对象不是随机样本，而是全体数据。传统数据处理和分析的小样本、抽样样本、部分样本已无法代表大数据的特征，或者说大数据时代已无法从部分样本的特征中推导全体数据的特征和规律。关联、规则和规律可能隐含在大数据中，样本则可能割裂了事物之间的关联。变化二：信息处理方式的变化。大数据是非结构化信息，数据结构混乱，需要改变传统结构化、标准化和精确化的信息处理方式，设计新的且适合大数据特征的数据库。大数据分析可能得不到精确的分析结果，但可能提供更多需要的结果和发现。2025/6/208:461293.6大数据时代信息分析的变化变化三：关联发现代替数学模型。大数据分析的目的是发现大容量数据中隐含的关联和规律，即事物相关关系的挖掘与发现，亦即解决“是什么”的问题。而不是试图发现、解释和推导事物间的因果关系，即解决“为什么”的问题。变化四：一切皆可“量化”、“数据化”。大数据发展的核心动力源于人类测量、记录和分析世界的渴望，但我们更应该把注意力放在数据和信息本身上，而不是本末倒置，只关注数据和信息处理的手段、方法和技术。一切事物都有时空及运动变化特征，都会产生数据和信息，因此，一切事物都可数据化。2025/6/208:463.6大数据时代信息分析的变化变化五：数据开放与创新。大数据的价值在于数据创新，包括数据再利用、数据重组、数据扩展、数据折旧、数据废气清理和数据开放等。孤立、闲置、污染的数据价值不太，只有开放、激活和清洁的数据才能解释巨大的价值。变化六：思维方式的变化。大数据时代需要重新厘清思维、技术和数据的关系及其角色定位，思维提供数据处理方法和思路，技术提供数据处理手段，而数据本身才是基础，完整的具有价值的数据才是思维和技术的出发点，有什么样的数据及数据处理需求才会有什么样的数据处理思维方式和数据处理技术。2025/6/208:461313.6大数据时代信息分析的变化变化七：风险和危机并存。在大数据时代，数据蕴含着巨大的价值，是一种重要的战略资源，因此也深藏着诱惑和风险。数据开放和安全、数据共享和垄断、数据利用和隐私等都使大数据发展面临一系列风险和危机。变化八：制度和规则的变化。大数据已在推动人类信息管理准则的重新定位，使我们面临信息自由和社会责任、数据共享与垄断、数据利用与隐私、数据开放与安全、数据污染与清理、数据拥有者和与用户等的激烈冲突，需要重新考虑大数据时代带来的法律、制度和规则等问题。2025/6/208:463.7大数据分析与信息分析比较比较维度大数据分析信息分析数据对象多源信息数值、文本信息数据规模大而全适度数据，突出关键分析时机实时分析分析有时滞分析任务挖掘新模式任务明确，模式既定分析模式相关分析因果分析分析方法数据挖掘定性和定量分析方法2025/6/208:461333.7大数据分析与信息分析比较大数据分析的典型任务是通过相关性实现模式挖掘与预测分析。大数据分析强调发现事先不知道的新模式和未知的相关关系。信息分析的目的和任务明确，要回答具体的问题，通过广泛搜集各类相关信息，运用多种工具与方法进行内容分析，监测其中的新现象、新情况、新异常，并根据蛛丝马迹发现其中的规律、本质、战略意图等。2025/6/208:46134补充-大数据分析案例国家竞争中的大数据应用案例：——全球有18个根节点服务器，其中15个在美国，2个在欧洲，1个在日本，根节点服务器上的数据是真正的、典型的大数据集，是不可估量的信息财富和信息资源。——美国有一个由400人组成的秘密网络军团，每天从事网络信息分析，并计划将网络军团人员扩大一倍。——各国都在制定大数据发展计划，试图占据大数据发展制高点。2025/6/208:46135

第4讲

信息分析程序

大学本科必修课程本章知识路线图信息分析流程信息分析流程美国佐治亚州？了解当地纸厂生产能力和实际产量工厂开出的火车车皮数量火车开过后铁锈的变化情况—钢轨承重—减去车皮重量=火车载重—纸的生产量询问工人：机器数量、类型、制造商结果：工厂开工率大部分达到90%决策：再建一个造纸厂如何开展一次信息分析研究？

课题来源？

有哪些主要步骤？

研究成果怎么体现？

如何评价？

？？？？？信息分析程序选题制订实施计划信息收集整理信息分析结果报告

第一节

卫生信息分析选题

选题:信息分析课题的选择，也就是明确信息分析的对象、目标以及方向政府部门委托单位用户委托医学信息人员自选课题来源选题的原则

政策性原则

必要性原则可能性原则效益性原则选题程序课题选择工作的组织课题初步评价课题可行性研究课题整体审查课题立项课题修改、完善课题取消合格不合格第二节制订实施计划我国卫生行政部门政府信息公开范围实证研究糖尿病风险评估模型及移动终端应用研究第三节信息、数据的搜集整理

调查方法文献调查社会调查现场调查实地参观参加会议出国考察访问调查面谈、电话采访样品调查实物问卷调查问卷调查确定研究题目及研究目的根据研究目的详细列举所要知道的问题确定样本及如何产生样本撰拟问卷预试问卷发放问卷回收和催复统计和分析解释结果撰写调查报告实例1：中南大学财务报账问卷调查表

实例2：我国医院网站信息服务功能与质量评价指标体系结构维度”专家咨询表调查内容基本信息行为信息态度信息基本信息（调查）实例1计财处了解您对财务服务的期望和对财务工作的要求，以更好的开展财务报账工作，改进工作作风，提高服务质量和服务水平教师管理，人员，学生实例2研究人员对构建的“我国医院网站信息服务功能与质量评价指标体系（初拟）”中的各项指标进行评价和修正专家基本信息（调查对象）实例1调查对象：教师口

管理人员口

学生口

实例2行为信息实例1您完成一次网上自助报账申报所需时间：

（）A．小于10分钟B．10分钟-30分钟

C.30分钟-60分钟

D.60分钟以上实例2态度信息实例11.您对财务人员提供服务时的态度满意度如何？

（）A.很满意，态度好，耐心

B.较满意，态度认真

C.一般，完成工作

D.不满意，要改进态度信息实例2指标体系维度结构专家认同程度123451信息服务功能质量属性√1.1基本描述信息维度√医院标志√医院简介√医院规模√提问方式自由式提问封闭式提问综合式提问事实性提问态度测量式提问2.1资源品质信息维度√信息的表达准确性√信息的易理解性√信息可信度√信息覆盖度√信息来源√修改意见：2.15和2.13有理解上的重复，另外，信息的新颖性如何体现？实例230：您对财务工作有什么建议和意见？（服务方面、报账方面、信息化方面等）实例1提问方式自由式提问封闭式提问综合式提问事实性提问态度测量式提问14.您知道下列哪些业务需要使用公务卡办理？（）A.财务报销业务B.工资发放C.酬金发放D.所有业务15．您对知道完成报账工作后，钱未到账的情况了解吗？（）A．了解B．比较了解C．不了解提问方式自由式提问封闭式提问综合式提问事实性提问态度测量式提问13.您希望通过什么方式获取您的最新财务信息？（）A.短信通知B.微信提醒C.自己上网查询D.其他方式____实例1提问方式自由式提问封闭式提问综合式提问事实性提问态度测量式提问实例2被调查者的背景资料：用于对被调查者进行分类职业、年龄、家庭状况，教育程度，居住条件，兴趣爱好等提问方式自由式提问封闭式提问综合式提问事实性提问态（程）度测量式提问1类别量表顺序量表差距量表定比量表调查问题示例量表特点类别量表受教育程度1中学生2高中生3本科生4硕士生5博士生质的差别顺序量表根据你的喜欢程度对下列几种品牌的汽车进行排序：劳斯莱斯奔驰尼桑沃尔沃高尔夫1喜欢2较喜欢3无所谓4不喜欢5很不喜欢高低顺序差距量表学生测评成绩<60不及格，60-70中，71-80良，81-90良+，91-100优测量等级距离，没有0起点，总体差距小定比量表收入情况0-3000，3000-6000，6000-12000，12000-24000测量等级距离，有0起点，总体差距大提问顺序原则要求举例先大后小先总后分，先因后果先易后难基本信息-行为信息—态度信息封闭式问题—综合式问题—自由式问题先趣味性再实质性先一般后敏感无法避免的隐私问题应尽量安排在后面与上一原则相似时间性由近及远或由远及近相关性同类或密切相关的问题不要分散调查表设计时应注意的问题用语准确含义清楚避免模糊或双关语你喜欢看什么电影啊？了解1个门诊病人一次就诊所花的时间提

问

的

必

要

性你从家里出发的时间？到达医院的时间？挂上号的时间？完成就诊离开家的时间？其中真正用在就诊的时间是多少？用在等待的时间是多少？你对就诊情况满意不？调查表设计时应注意的问题调查表设计时应注意的问题示例把握问题的数量和难易程度半小时之内被调查者凭经验、记忆避免引导性提问有人认为智慧型医院是以后的发展方向，你也赞同吗？避免一般性问题你对这个医院的信息化水平满意吗？避免双重问题或概念有交叉的问题你会投资理财和股票吗？你每周都会去图书馆和电影院吗？尽量避免假设性问题假如你得到500万大奖，你会捐助公益性组织吗？避免学术专用名词和冷僻的专用名词你认为引力波会对未来的社会带来什么样的变化？使用说明词调查人（组织）的身份目的被调查者问答问题的重要性声明为回答者及回答结果保密说明结果反馈事宜说明如何填写调查表表示希望被调查者以真实的态度填写调查表对被调查者表示感谢提供联系方式“我国医院网站信息服务功能与质量评价指标体系结构维度”专家咨询表抽样调查被调查的总体全部单位中抽取一部分单位（样本）来进行调查，并以样本特征值来推算总体特征的一种调查方法随机抽样原则：每个部分都有同等机会被抽中方法适用范围举例简单随机抽样抽签随机数字表法总体个数不是特别多专业所有班级同学抽签或随机数字表法抽样分层抽样总体按特征分层后抽样不同层有明显差异的情况下男生中抽样女生中抽样整群抽样总体按特征分群，抽取1个或多个群的全部个体各群有共同特征的情况下随机抽取一个或多个班等距抽样按相等距离抽取样本总体个数不是特别多按学号，每隔5个人抽取一个PPS：按规模大小成比例的概率抽样样本量大小确定总体大小样本量大小100030%1000010%1000001%100万及以上样本比例增加不产生实际作用思路1思路2借鉴同类研究成果思路3问卷问题数量的5-10倍，一般取8倍100个同学里面抽10个同学：为100个班编号：1-100从表中任意1个数开始，抽取10个编号具有相应编号的班即为调查样本为100个同学编号：1-100从表中任意1个数开始，抽取10个编号具有相应编号的同学即为调查样本1