信息分析实验教程全套教学课件

信息分析实验教程第一编获取编第1编_获取编.pptx第2编_处理编.pptx第3编_分析编.pptx第4编_可视化编.pptx全套可编辑PPT课件第1章数据获取基础知识

数据获取概述数据获取是在不触犯相关法律法规的基础上，通过一定的技术手段、方式方法所开展的搜集、捕获原始数据资料以支撑相关研究或业务开展的系列活动的统称。可能受到的限制可能受到获取数据的工具、渠道、外界的数据封锁、数据量太大而无法容纳的限制；客观事物反映在数据上是模糊的，难以清晰描述或界定边界；信息模型的局限或者获取信息的成本太高的限制等。基础知识

数据获取来源与方法数据获取来源基础知识

数据获取来源与方法数据获取方法线上数据获取方法网络数据采集电子邮件采集线下数据获取方法调查实验基础知识

数据获取来源与方法数据获取流程基础知识

数据隐私与数据资源共享隐私：“单个用户的某一些属性”公开群体用户的信息不属于隐私泄漏但若能从数据中能准确推测出个体的信息，则属于隐私泄漏讨论隐私保护的情景为学术研究和数据交流开放用户数据服务提供商为了提高服务质量，主动收集用户的数据软件工具序号工具名称开发者技术特性功能简述类型1CrawleyCamporezPython爬虫框架；跨平台可个性定制化开发，用于网页中任意类型数据的采集开源，支持二次开发2ScrapyScrapinghub开源，支持二次开发3SkyCaiji南昌卓蓝科技有限公司跨平台；支持本地或云端采集；需要PHP环境用于网页中多种数据的采集开源，部分支持二次开发4后羿采集器杭州快忆科技有限公司图形化界面；更贴近使用者的选择；一键傻瓜式操作，适合初学者用于网页中多种数据的采集提供有个人免费版，但功能受限5八爪鱼采集器深圳视界信息技术有限公司图形化界面；更贴近使用者的选择；一键傻瓜式操作，适合初学者用于网页中多种数据的采集部分功能免费6火车采集器合肥乐维信息技术有限公司图形化界面；用户需要掌握一定的HTML知识部分功能免费7WebScraperWebScraperChrome浏览器插件，一键傻瓜式操作用于网页中多种数据的采集商业免费8Excel微软

“数据”选项卡提供网页数据采集功能多用于采集网页中的表格型数据商业收费常见的网络数据采集软件实验1：网络数据采集实验操作流程详见教材实验原理将分散的、各种类型的互联网数据获取到本地需要借助网络爬虫关键在于搜寻目标数据在互联网上的位置（即网址）并分析被采数据所在页面的分布特征，继而设置相应的采集规则本实验的核心工作流程实验1：网络数据采集实验操作流程详见教材注意事项使用WebScraper采集网页数据时，Chrome开发者模式必须处于上下分屏的显示状态中，且不能处于模拟移动设备的模式中。每个选择器及全局预留给页面加载的延迟时间值必须充足，否则将可能造成无法采集数据，或采集到的数据不完整；可根据实际网络通畅情况，进行个性化设置。启动采集后自动弹出的小窗口不能手动关闭，否则会造成采集中止。信息分析实验教程第二编处理编第2章数据处理数据预处理活动及其效果示意基础知识

数据预处理的范畴数据清洗数据集成数据变换数据规约基础知识数据预处理的必要性数据质量评估数据准确性数据完整性数据一致性数据及时性数据覆盖性数据可信性数据质量问题数据不完整数据不一致数据重复噪声基础知识

数据预处理活动简述数据清洗缺失值处理删除缺失值填补法噪声数据处理分箱聚类回归数据集成模式集成和对象匹配冗余检测数据值冲突检测与处理数据变换数据规范化数据离散化数据泛化属性构造基础知识数据预处理活动简述数据规约维规约小波变换主成分分析数值规约参数化数据规约非参数化数据规约小波变换示意主成分分析示意软件工具编号工具名称开发者技术特性功能简述类型1OpenRefine(GoogleRefine)谷歌跨平台；B/S架构；需要Java环境一类数据转换工具，对数据进行可视化操作处理（面向列和字段），用于数据的清洗与整合开源免费2NumPyNumPy团队Python包；跨平台用于数值型数据的清洗、缺失值处理和异常值检测处理开源免费3pandaspandas团队开源免费4plyrHadleyWickhamR包；跨平台开源免费5dplyrHadleyWickham等开源免费6tidyr开源免费7PowerQuery微软Excel插件，需要Excel用于多种数据的清洗、缺失值处理和异常值检测处理商业免费8QualityKnowledgeBaseSAS工业级产品；图形化界面软件提供11种清洗流程，每种流程包括若干处理算法，用于多种数据的清洗商业收费常见的数值型数据清洗处理软件实验2：数据清洗实验操作流程详见教材实验原理主要环节去重纠错统一规格修正逻辑转换构造数据压缩……本实验的核心工作流程导入数据统一规格添加与调整变量名称数据类型调整数据格式调整……转换构造数据离散化（合并数据）提炼新字段数据粒度转换……实验2：数据清洗实验操作流程详见教材注意事项在做数据类型检测和格式修整（即去除变量值前后可能对数据分析产生影响的空格等多余字符）时，应先单击“格式”下拉菜单，选择“修整”命令，再检测数据类型。如果先检测数据类型，再选择“修整”命令，那么修整过后会造成每一列数据的类型被重置为“任意”类型。此时，需要重新检测数据类型。如果某个类别型变量有n种取值，则为其创建虚拟变量时，要创建n-1个虚拟变量。实验3：缺失值处理实验操作流程详见教材实验原理数据缺失的可能原因未被采集到数据提取错误数据存储异常一般处理方法删除含缺失值样本删除值缺失严重的变量使用默认值填充（如平均数）使用预测模型给出的预测值本实验的核心工作流程分析缺失值产生的原因判定缺失值的含义缺失现象本身已经含有特定意义缺失值需要被特殊处理选择一种处理缺失值的方法删除样本删除变量使用默认值填充使用预测值填充使用相应的方法完成缺失值处理实验3：缺失值处理实验操作流程详见教材注意事项实验中所展示的删除含有缺失值的方法，是缺失值处理中最简单和直接的方法，也尽最大努力保证了数据样本的完整性，但被删除样本也可蕴含能有十分珍贵的其他价值。因此，删除含有缺失值的方法建议在数据集中缺失值较少的场景中应用。实验4：异常值处理实验操作流程详见教材实验原理异常值和其他样本数据有显著差异的值（离群点）统计学上指一组测定值中与平均值的偏差超过两倍标准差的测定值；而与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值在数据分析中，对于区间型变量，异常值指过大过小的取值，也可以结合统计学的定义，把超过均值n个标准差以上的取值定义为异常值，n的取值由具体情况而定；对于类别型变量，异常值指过于罕见的类别值实验4：异常值处理实验操作流程详见教材实验原理异常值的检测方法基于统计的方法基于距离的方法基于密度的方法基于假设检验的异常检测支持向量机的预测排除异常值处理的一般方法识别后剔除本实验的核心工作流程根据变量类型采取相应方法识别异常值区间型变量根据统计学定义，或观察极值（最大值、最小值等）类别型变量出现频率过低的一部分类别值剔除/修正异常值实验4：异常值处理实验操作流程详见教材注意事项不能简单认为异常值就是对数据挖掘和数据分析“有害的值”。尽管在大多数情况下，选择剔除异常值作为处理它的方式，但在欺诈识别等部分应用场景中，异常值本身反而是被重点关注的对象。第3章文本处理基础知识

文本处理通过词性标注、分词、共词等技术从数据源中抽取有用的信息主要特征多学科交叉抽取的知识是直接可用的处理对象有着较强的领域特征文本挖掘高度依赖于文本（预）处理技术基础知识

文本处理的一般过程文本预处理分词对于词与词之间不存在空格等界限的语言（如汉语）文本进行按词切分的处理过程例：他从东经过我家→他／从／东／经过／我家基础知识

文本处理的一般过程文本预处理词性标注为分词结果中的每个单词标注一个正确词性的过程基础知识文本处理的一般过程文本预处理停用词过滤过滤对文本特征无任何贡献作用的词，如“a”“啊”等英语常见停用词基础知识

文本处理的一般过程文本预处理同义替换将同义词进行转换，以统一的一个词表达同义词词林：层次越深，词义刻画越细哈工大扩展版同义词词林层次结构基础知识文本处理的一般过程文本特征构造特征表示词袋模型例：苏宁易购／是／国内／著名／的／B2C／电商／之一词袋模型示意1词袋模型示意2基础知识

文本处理的一般过程文本特征构造特征表示词向量模型，例：例句1：天气预报说，明天会下雨，你明天早上去上班的时候记得带上伞。→天气预报／说／明天／会／下雨／你／明天／早上／去／上班／时候／记得／带上／伞例句2：你明天早上去上班的时候记得带上雨伞，天气预报说的可能会下雨。→明天／早上／去／上班／时候／记得／带上／雨伞／天气预报／说／可能／会／下雨得到词集合：{天气预报，说，明天，会，下雨，你，早上，去，上班，时候，记得，带上，伞，雨伞，可能}使用独热码构建例句1的词向量：[1,1,2,1,1,1,1,1,1,1,1,1,1,0,0]使用独热码构建例句2的词向量：[1,1,1,1,1,0,1,1,1,1,1,1,0,1,1]基础知识

基础知识

基础知识

基础知识

文本处理的一般过程文本信息抽取命名实体识别从文本中识别出诸如人名、组织名、日期、时间、地点、特定的数字形式等内容，并为之添加相应的标注信息方法：基于词典、基于规则、基于机器学习指代消解回指：当前的照应语与上文出现的词、短语或句子存在密切的语义关联性共指：多个名词（包括代名词、名词短语）指向真实世界中的同一参照体方法：基于句法、基于语料库基础知识

文本处理的一般过程文本信息抽取关系抽取抽取实体之间的语义关系按关系类型是否提前定义分为封闭式和开放式两类关系抽取方法：有监督学习、半监督学习、无监督学习事件抽取事件：在某个特定的时间段及地域范围内所发生的，由一个或多个角色参与，由一个或多个动作所组成的一件事情元事件抽取：基于句子的基础级的事件抽取，指一次动作的发生或状态的转变，其抽取目标包括时间、地点、人物、动作等主题事件抽取：一个主题事件由多个动作或状态组成，其描述信息通常分散在一个或多个文档中基础知识

文本处理的应用前景文本处理的应用现状主题导航优化研究竞争对手识别研究非物质文化遗产研究数字人文范式研究网络健康社区研究现实社会问题研究基础知识

文本处理的应用前景文本处理新进展自动问答、机器翻译知识结构化软件工具

接下页编号工具名称开发者技术特性功能简述类型1jiebaSunJunyiPython包；跨平台用于中文文本分词开源免费2similarityxumingJava包；跨平台用于词语、短语、句子的文本相似度计算开源免费3genismRadimŘehůřekPython包；跨平台用于文本相似度计算和文档关联度计算开源免费4NLPIR张华平跨平台；支持Python等多种语言用于中文文本分词、词性标注、命名实体识别等开源免费5LTP哈工大社会计算与信息检索研究中心用于中文文本分词、词性标注、命名实体识别、依存句法分析、语义角色标注等开源免费(商用除外)6THULAC孙茂松等用于中文文本分词和词性标注开源免费常见的文本型数据清洗处理软件软件工具

编号工具名称开发者技术特性功能简述类型7ROSTCM武汉大学ROST虚拟学习团队图形化界面，一键傻瓜式操作用于中文文本分词、词频统计、词性识别、聚类、社会网络语义网络、情感计算等免费8文本挖掘工具包华东师范大学商业分析实验教学中心图形化界面，一键傻瓜式操作；部分功能需要MySQL数据库、UciNet社会网络分析工具的支持用于中文文本分词、词频统计、高频词提取、文档相似度计算、共现分析、情感分析等免费9NVivoQSRInternationalPtyLtd图形化界面用于整理、分析非结构化数据（如采访、开放式调查回答、文章、社交媒体和网页内容），适用于问卷分析、定性研究商业收费

续表实验5：文本分词实验操作流程详见教材实验原理对于一段文本，根据语料库样本建立起的统计概率，计算各种文本切分方式对应的联合分布概率通过找到最大的概率所对应的切分方式，实现分词文本预处理导入词典执行分词文本后处理本实验的核心工作流程实验5：文本分词实验操作流程详见教材注意事项文本挖掘工具包运行所依赖的各文本文件（包括用户词典文件、停用词词典文件和同义词词典文件）和需要由工具包进行分词处理的文件，均应以UTF-8格式编码保存，以避免出现“乱码”现象如果分词结果需要作为后续词频统计模块（参见实验6词频统计）的输入，则分词时不应选择输出词语的词性，否则会造成词频统计结果出现异常待分词文件的大小，建议控制在5MB以内实验6：词频统计实验操作流程详见教材实验原理词频统计即统计一篇文本中各个词语的出现频次对中文语料，在统计词频前需要做文本分词处理实际操作中，高频词选取的标准多是在结合领域语料库的前提下选取TOP10或TOP20的词语文本数据预处理文本分词词频统计高频词提取本实验的核心工作流程实验6：词频统计实验操作流程详见教材注意事项“词频统计演示”按钮的使用，不属于对文本文件进行词频统计的必须步骤。但是，对于简单、少量文本的词频统计，推荐使用该按钮以简化操作步骤。高频词提取依赖于词频统计的结果。因此，进行高频词统计之前，首先要进行词频统计。实验7：文本相似度计算实验操作流程详见教材实验原理文本相似度计算的核心是比较两个给定的文本之间的差异在相似度计算前，须通过预处理将文本转换成计算机能够处理的数据文本挖掘工具包对词赋权重的方法是常用的TF-IDF方法文本挖掘工具包计算文本相似度的方法是余弦相似度法，即用一组向量表示对应的一组文本，一个向量各维度上的值对应特定词语在相应文本中出现的频率，若两个向量夹角的余弦值越大，则代表两个文本越相似本实验的核心工作流程实验7：文本相似度计算实验操作流程详见教材注意事项在文本挖掘工具包中，须根据待计算文档数量手动调整文档总数参数，默认为10，即仅对1.txt、2.txt、……10.txt这10篇文档进行计算。文本向量空间的维度多少（由“统计词频不小于□特征词”文本框中的值决定），依据实际样本情况而自行设定，其中默认为1。本实验仅展示了基于经典统计的文本相似度计算过程，基于语义等高阶的文本相似度计算，同学们若感兴趣，可以通过“拓展学习”小节提供的资源等自行学习。信息分析实验教程第三编分析编第4章信息分析基础知识

信息分析概述信息分析定义以社会用户的特定需求为依托，以定性和定量研究方法为手段，通过对信息的收集、整理、鉴别、评价、分析、综合等系列化加工过程，转换为新的、增值的知识产品，最终为不同层次的科学决策服务的一项具有科研性质的智能活动要素成因：存在社会需求方法：情报学和软科学研究方法过程：程序化的环节成果：新的增值信息产品目的：为科学决策服务基础知识

信息分析概述大数据背景下的信息分析大数据一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，特征如下：大量化快速化多样化价值化大数据对信息分析的影响研究范式的演进研究方法论的更新研究质量的提升基础知识

信息分析概述信息分析流程基础知识

信息分析概述信息分析应用领域经济信息分析科技信息分析社会信息分析基础知识

信息分析常用方法基础知识

信息分析常用方法方法的有监督与无监督之分有监督方法有监督的分析方法中，数据集是有标签的，也就是说对于给出的样本我们是知道答案的分类是预测某一样本所对应的类别（离散的）回归是预测某一样本所对应的实数输出（连续的）基础知识

信息分析常用方法方法的有监督与无监督之分有监督方法基础知识

信息分析常用方法方法的有监督与无监督之分无监督方法在无监督的方法中，数据集是完全没有标签的，依据相似样本在数据空间中一般距离较近这一假设，将样本分类。关联分析是指发现不同事物之间同时出现的概率聚类是指将相似的样本划分为一个簇，与分类问题不同，聚类问题预先并不知道类别，自然训练数据也没有类别的标签维度约减顾名思义是指在不丢失有意义信息的前提下，减少数据维度基础知识

信息分析常用方法方法的有监督与无监督之分无监督方法软件工具

编号工具名称开发者技术特性功能简述类型1IBMSPSSStatisticsIBM图形化界面；需要Java环境用于线性回归等统计分析工作商业收费2IBMSPSSModelerIBM用于聚类、决策树等数据挖掘建模工作商业收费3KNIMEMichaelBerthold团队图形化界面；需要Java环境提供较为完备的数据挖掘方法，并支持第三方工具、资源库的集成开源免费4Weka怀卡托大学跨平台；图形化界面；需要Java环境用于文本相似度计算，并实现文本聚类开源免费5SnowNLPRuiWangPython包，需要Python环境；跨平台用于中文文本分词、词性标注、情感分析、文本分类、提取文本关键词、提取文本摘要、文本相似度计算等开源免费6pandaspandas团队Python包，需要Python环境；跨平台pandas丰富的功能，支持构建共现矩阵开源免费7书目共现分析系统BICOMB中国医科大学医学信息学系图形化界面；需要Excel生成报表和AdobeFlashPlayer的支持用于字段抽取、字段统计、共现分析、聚类分析、网络分析等文献记录处理工作免费8UCINETSteveBorgatti等图形化界面，处理矩阵格式的数据社会网络分析软件包，提供了大量数据管理和转化工具试用免费常见的信息分析软件实验8：时间序列分析实验操作流程详见教材实验原理时间序列是同一现象在不同时间上的相继观察值排列而成的序列，用于描述现象随时间发展变化的特征在信息分析活动中，时间是很重要的维度，通过时间窗口的逐次推进，人们可以动态直观地认识到同一事物的变化过程，能够更为全面地了解过去、把握现状甚至预测／感知未来，而缺失时间信息，则仅能宏观反映事物的基本情况，难以细粒度感知采集含有时间维度信息的文本数据将文本数据按时间维度归纳到合适的粒度对文本进行统计汇总（基于词频、主题等）可视化呈现与解读本实验的核心工作流程实验8：时间序列分析实验操作流程详见教材注意事项数据获取过程中，如果拟获取的数据包含有时间维度信息，不论后续分析是否用到，建议将包含时间维度信息的数据一并采集回来，避免因遗漏对时间维度信息相关数据的采集而限制后续分析活动和深度，并由此带来返工等。互联网数据的半衰期本来就短、易消失，在获取该类数据时，事先须考虑全面（如第1点的时间信息等），避免给信息分析活动带来不可逆的影响，在网络中数据的“删除”“修改”是极其常见的事情。常见的时间维度信息包括事物的题录特征信息（发表时间、更新时间、转载时间等）和事物内部的描述信息（文本描述中所蕴含的时间）。前者需要在数据采集时一并选择采集（易获取、易忽视），而后者则需要利用命名实体识别方法或工具进行提取（难获取）。两类时间维度信息，均值得引起注意。实验9：关联规则实验操作流程详见教材

实验9：关联规则实验操作流程详见教材实验原理其中，典型的关联规则算法是由R.Agrawal等人于1994年提出的Apriori算法，算法核心包括两部分，即：找出所有频繁数据项集，即找出所有支持度超过指定阈值的数据项集利用频繁数据项集，生成侯选的关联规则，并验证其可信度，同时如果可信度超过指定阈值，则该侯选关联规则为要找的关联规则实验9：关联规则实验操作流程详见教材注意事项除了Apriori算法，关联规则挖掘的常用算法还有FP-growth。对于SPSSModeler，发现关联规则是比较消耗时间和计算机性能的步骤。如果计算机的内存足够大，Apriori节点对话框“模型”选项卡下的“优化”设置应保持默认不变（即选中“速度”单选框），反之则选中“内存”单选框。实验10：回归分析实验操作流程详见教材

实验10：回归分析实验操作流程详见教材实验原理1、确定自变量(解释变量)和因变量(被解释变量)2、确定回归模型，从样本数据出发确定变量之间的数学关系式3、建立回归方程，对回归方程的各个参数进行估计4、对回归方程进行各种统计检验5、利用回归方程进行预测本实验的核心工作流程实验10：回归分析实验操作流程详见教材

实验10：回归分析实验操作流程详见教材实验原理一元线性回归模型最小二乘法（OLS）评估模型的方法：拟和优度检验（判定系数R2）：体现了回归方程所能解释的因变量变差的比例；它是评价两个变过量之间线性相关关系强弱的一个重要指标t检验：检验自变量对因变量的线性影响是否显著F检验：检验自变量与因变量之间的线性关系是否显著，即是否可用线性模型来表示实验10：回归分析实验操作流程详见教材注意事项缺失值和异常值都会对回归计算结果产生影响，应当特别重视计算之前的文本处理工作。其中具体处理思路与方法，可以参考实验3、4。实验11：文本聚类实验操作流程详见教材实验原理文本聚类：根据同类的文本相似度较大、异类文本相似度较小的假设，通过一些针对文本比对的规则对数据进行相应的处理，将文本集中相似度较大的文本划分至同一个容器中储存，而将文本集中相似度较小的文本分配至不同的容器中储存文本聚类是一种无监督的方法，聚类算法是不必进行“训练”的，包括：基于划分的方法（如K-MEANS算法）、基于层次的方法（如BIRCH算法）、基于密度的方法（如DBSCAN算法）、基于网格的方法（如WAVE-CLUSTR算法）、基于模型的方法（如关联规则方法、决策树方法等）实验11：文本聚类实验操作流程详见教材实验原理文本聚类的过程：将同一类的文本指派到同一类簇中，指派的依据是文本中词的语义关系或相似性的关系文本聚类的前提：文本结构化，包括文本预处理、特征降维和文本表示模型等文本聚类的实质：将各份文本以高维空间点的形式展现出来，通过计算哪些点的距离比较近，来将这些点聚成一个簇。簇的中心叫做簇心，好的聚类要保证簇内点的距离尽可能近，但簇与簇之间的点要尽可能远文本预处理文本分词词频统计特征降维特征项选取文本表示相似度计算文本聚类聚类结果聚类评估本实验的核心工作流程实验11：文本聚类实验操作流程详见教材注意事项本实验主要演示了在Ucinet软件中进行文本聚类（层次聚类法）的过程，而文本聚类的方法，本身还有很多，如：基于划分的方法（K-Means算法、K-MEDOIDS算法、CLARANS算法等）、基于密度的方法（DBSCAN算法、OPTICS算法、DENCLUE算法等）、基于网格的方法（STING算法、CLIQUE算法、WAVE-CLUSTER算法等）和基于模型的方法（关联规则方法、决策树方法等），需要结合文本特征和实际使用场景，综合选择（或自编）工具完成。实验12：文本情感分析实验操作流程详见教材实验原理文本情感分析是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程文本情感分析的三大主要任务：情感信息抽取、情感信息分类、情感信息的检索与归纳当前大多数文本情感分析都是针对一段文本判断其总体的情感极性。主要是对文本中的情感词语进行提取与归纳汇总，多依赖于情感字典（积极、中性、消极等情感词汇）、特征数据（表情符号、否定词等特征）完成。文本预处理分词去停用词加载词典情感信息抽取情感词语评价对象情感信息分类计算词语权重计算情感指数情感信息检索与归纳本实验的核心工作流程实验12：文本情感分析实验操作流程详见教材注意事项如果同学们不希望在计算机中部署的Python3环境占用过多磁盘空间，则可以选择使用较为精简的Python发行版——Miniconda3（官方下载页面：https://docs.conda.io/en/latest/miniconda.html）。使用pip工具的命令安装SnowNLP时，可能会因安装源位于国外而导致传输速度慢、安装耗时长。此时可以尝试在命令中添加参数“-i[源地址]”，将安装源地址更换为国内的镜像源以快速下载安装。以使用清华镜像为例，完整的SnowNLP安装命令如下：

pipinstallsnownlp–i/simple实验13：词共现分析实验操作流程详见教材实验原理词共现反映的是有关两事物的描述在同一样本中出现的现象，用于识别事物间亲疏远近关系基本原则先统计一组关键词中任意两个词在一组文档里某一篇中是否共同出现再统计这种共同出现情况的次数并构建对称关键词共现矩阵实验13：词共现分析实验操作流程详见教材实验原理基本原则在共现矩阵中关键词共现次数可能相差较大不利于数据分析，还可根据需要把关键词共现矩阵进行归一化处理转化为关键词相关矩阵。本实验的核心工作流程实验13：词共现分析实验操作流程详见教材注意事项BICOMB支持ANSI格式编码的文本文件，因此如果在提取过程中遇到乱码等问题，请尝试将有待词共现分析的文本文件另存为ANSI编码。在步骤5中，如果待分析的文档不在同一目录下，则应单击“选择文档”按钮逐一添加待分析的文档。步骤7往往会耗费大量时间，这取决于选择的词频范围内词数量的多少和文档篇数。在查看导出的词共现矩阵文本文件时，应将记事本或其他编辑器的“自动换行”功能关闭，否则将影响词共现矩阵的显示效果。信息分析实验教程第四编可视化编第5章信息可视化基础知识

信息可视化概述将数据、概念、知识、技术等进行可视化呈现表现形式文本表格图形地图基础知识

信息可视化概述信息可视化与数据可视化数据可视化的含义广义：对狭义的数据可视化、信息可视化和科学可视化等领域的统称狭义：将数据用统计图表等形式呈现，重在传递信息信息可视化与（狭义）数据可视化的区别前者是将数字或非数字的信息进行可视化，重在表现抽象或复杂的信息基础知识

信息可视化概述信息可视化所面临的常见数据类型一维数据二维数据三维数据多维数据时态数据层次数据网络数据基础知识

信息可视化概述信息可视化的研究方向信息可视化和数据挖掘的紧密结合协同可视化人机交互可视化……基础知识

图表设计知识信息可视化基本流程Card模型基础知识

图表设计知识图表设计的常见方法基础的绘图方法基本步骤“三部曲”基础知识

图表设计知识图表制作一般思路基础知识线图图表设计知识多维信息的可视化方法基于点的方法基于线的方法平行坐标图雷达图基础知识堆叠柱状图图表设计知识多维信息的可视化方法基于区域的方法热力图马赛克图基础知识切尔诺夫脸谱图图表设计知识多维信息的可视化方法基于样本的方法基础知识词云图图表设计知识文本可视化方法星系视图主题地图新闻地图基础知识

网络图与知识发现复杂网络概述可视化技术提供了有效的方法来理解复杂网络的结构，并从中挖掘有效信息复杂网络的研究内容：通过实证方法度量网络的统计性质构建相应的网络模型来理解上述统计性质在已知网络结构特征及其形成规则的基础上预测网络系统的行为基础知识

基础知识

网络图与知识发现复杂网络统计特征网络直径网络中路径概念表示从节点i出发到节点j的节点和边交替的一条通路，无权网络中这条通路中边的数量就表示这条路径的长度，而在有权网络中这条通路中边的权值之和表示这条路径的长度。其中，节点之间所有通路中长度最大的路径就是网络直径。基础知识

网络图与知识发现复杂网络统计特征平均路径长度在节点间所有的路径之中，路径长度最短的那条称之为节点i和节点j之间的最短路径，节点间的距离就是节点间的最短路径长度，网络的平均路径长度则表示任意节点间距离的平均值。基础知识

网络图与知识发现复杂网络统计特征聚集系数网络的聚集系数表示网络中节点的聚集程度，它反映了网络中节点的亲密度。如在反映人际关系的社会网络中，某个体a的朋友b的朋友c，很可能也是该个体a的朋友。显然，当网络中的所有节点之间都存在边的话，即是一个全连通网络，此时任意一个节点的聚集系数都为1。基础知识

网络图与知识发现复杂网络统计特征节点介数和边介数介数有节点介数和边介数两种，分别用于评估网络中的节点和边在网络中的重要性程度。某个节点介数的定义为网络中任意两个顶点之间的最短路径中，经过该节点的最短路径比例；某条边的介数则定义为网络中任意两个节点之间的最短路径中，经过该边的最短路径比例。它们的定义也可以说是经过该节点或边的最短路径条数，介数反映了节点或者边在网络中所有节点或者边中的地位和重要性，具有非常重要的现实意义。基础知识

网络图与知识发现复杂网络统计特征度分布节点的度表示与该节点连接的边的条数。对有向网络，节点的度等于出度与入度之和；对无向网络，节点的度等于节点的入度或者出度。需要说明的是，现实世界中许多网络的节点度分布满足幂律分布，相比于随机图，无标度网络更能反应网络的真实情况。基础知识

网络图与知识发现复杂网络统计特征网络弹性复杂网络的弹性，定义为删除某个节点后对网络的连通性的影响。网络弹性的测量，有两种分析方法：一种是随机删除，称之为网络的鲁棒性分析；另一种是选择删除，称之为网络的脆弱性分析。基础知识

网络图与知识发现复杂网络表示模型规则网络基础知识

网络图与知识发现复杂网络表示模型随机网络基础知识

网络图与知识发现复杂网络表示模型小世界网络基础知识

网络图与知识发现复杂网络表示模型无标度网络基础知识

网络图与知识发现网络可视化应用可视化信息检索网络拓扑可视化社会关系网络可视化其它领域的应用软件工具

编号工具名称开发者技术特性功能简述类型1echarts百度ECharts团队开源可视化库；兼容多种浏览器用于实现折线图、柱状图、散点图、饼图、热力图等常见的数据可视化形式开源免费2highchartsHighsoft纯JavaScript编写的图表库用于实现折线图、柱状图、散点图、饼图、热力图等常见的数据可视化形式非商业用途免费3CiteSpace陈超美图形化界面；需要Java环境以树形图及连线等表示各个主题关系强弱,绘制共被引图谱、关键词图谱、时区视图等免费4Sci2Tool印第安纳大学信息与图书馆学系跨平台；图形化界面；需要Java环境通过构建知识单元来可视化地形成科技创新关系网络,将不同级别的关键词通过不同大小的节点和连线形象地表示出来免费5VosViewer莱顿大学科技研究中心图形化界面；需要Java环境；基于VOS及VxOrd可视化技术开发通过标签、密度、聚类密度、分散4个视图展示科技创新路径图谱免费6SupersetAirbnb开源数据挖掘平台；Python运行环境，须本地化部署；支持多源数据快速创建可交互的、直观形象的数据集合；拥有丰富的可视化方法来分析数据，具有灵活的扩展能力开源免费常见的信息可视化软件

接下页软件工具

编号工具名称开发者技术特性功能简述类型7TableauPublicTableau端到端数据分析平台；支持多源数据；图形化界面创建出交互式图表和图片、地图、实时仪表板，并允许在线分享商业免费8BibexcelPersoon图形化界面具有文献计量分析、引文分析、共引分析、耦合分析、聚类分析和数据可视化等功能免费9HistCiteEugeneGarfield等人跨平台；图形化界面揭示文献之间的引用关系、主题的宗谱关系、作者历史传承关系、科学知识发展演进等免费10ArnetMiner清华大学KEG实验室图形化界面；开源数据挖掘平台进行学术研究合作者的社交网络挖掘与可视化免费11CFinderG.Palla跨平台；图形化界面；支持多源数据有效定位和可视化处理大规模稀疏网络社群并定量描述社会网络演变开源免费

续表实验14：图表制作实验操作流程详见教材实验原理五类常见的信息图表实验14：图表制作实验操作流程详见教材实验原理制作以数据为基础的图表步骤确定需要表达的信息，图表的样式会由其决定。然后，将主要的信息作为图表标题。标题须简洁且切中关键。实验14：图表制作实验操作流程详见教材实验原理制作以数据为基础的图表步骤确定相对关系，主要是厘清数据背后所蕴含的关系。五类基本关系的特点见表格。相对关系类型具体含义常见关键词举例成分相对关系各部分占总体的百分比份额；百分比；预计达到百分比在5月份，A产品预计占到公司总销售额的最大份额；2005年市场份额少于行业10%。项目相对关系不同元素的排序大于；小于；大致相当在5月份，A产品的销售额相当于B、C消费额之和；销售额中顾客的回报排名第四。时间序列关系一定时间的变化变化；增长；提高；下降；减少；下跌；上下波动从1月以来销售额稳定增长；投资回报在过去的5年急剧下跌；利率在过去的7季度里起伏不定。频率分布关系各数值范围内各包含了多少项目从X到Y；集中；频率与分布在5月，大多数地区的销售额在100万到200万之间；我司员工年龄分布与竞争对手相比很大不同。相关性关系两个变量之间的关系与…有关；随…而增长；随…而下降；随…而改变5月份销售业绩显示销售业绩与销售员的经验没有关系；CEO的薪水并不随着公司规模的变化而改变。实验14：图表制作实验操作流程详见教材实验原理制作以数据为基础的图表步骤根据确定的相对关系，选择图表类型。实验14：图表制作实验操作流程详见教材实验原理制作以数据为基础的图表步骤根据确定的相对关系，选择图表类型。①成分相对关系一般以饼图呈现实验14：图表制作实验操作流程详见教材实验原理制作以数据为基础的图表步骤根据确定的相对关系，选择图表类型。②项目相对关系一般以条形图呈现实验14：图表制作实验操作流程详见教材实验原理制作以数据为基础的图表步骤根据确定的相对关系，选择图表类型。③时间序列关系是随着时间变化而变化的关系，一般使用柱形图或折线图表示实验14：图表制作实验操作流程详见教材实验原理制作以数据为基础的图表步骤根据确定的相对关系，选择图表类型。③时间序列关系是随着时间变化而变化的关系，一般使用柱形图或折线图表示如果折线图中折线的数量太多致使难以阅读，还可以将其转化为分组折线图→实验14：图表制作实验操作流程详见教材实验原理制作以数据为基础的图表步骤根据确定的相对关系，选择图表类型。④频率分布关系主要展示有多少项目会落入一个具有一定特征的数据段当中，其中数据段不宜少于5组，且不宜多于20组。分组时应尽量使用规模大致相当的组，只有在特殊情况下才使用不等的间距。组的数量较少时宜采用柱形图，较多时宜采用折线图。实验14：图表制作实验操作流程详见教