数据新闻概论 课件 第5章 编辑室里的数据分析

第五讲：编辑室里的数据分析目录CONTENTS数据清理数据分析数据清理和分析过程中的伦理问题行业PPT模板/hangye/数据清理01数据清理一项对比数据科学家和数据记者的数据准备工作的研究发现，数据记者在接受深度访谈时，反复提及他们在做数据准备工作时会面临的四个挑战：区域性：由于不同地区的数据收集者在收集数据时具有独立性和空间的分散性，这导致相同主题的数据在不同区域结构不一致。

历时性：关于同一现象的统计数据可能随着时间的演变而发生变化。

碎片化：关于相似主题的不同表格包含逻辑相关却内容不同的项目。

不同的数据集：寻找不同数据集中的关联——找到其中相同的数据实体，是一个充满不确定性的工作。KasicaS,BerretC,MunznerT.DirtyDataintheNewsroom:ComparingDataPreparationinJournalismandDataScience.CHI'23:Proceedingsofthe2023CHIConferenceonHumanFactorsinComputingSystems.(2023-04-19)[2024-01-20].https://www.cs.ubc.ca/group/infovis/pubs/2023/dirty-data-in-the-newsroom/dirty-data-in-the-newsroom.pdf.

数据清理数据清理（DataWrangling）也被称为数据清洗、数据补救或数据转换，指把原始数据转换为可更好地进行分析的数据格式的一系列过程。这是我们在进行数据分析前一个必要的工作环节。大多数时候我们采集的数据未必是理想数据，可能存在或多或少的问题，有人形象地称此为“坏数据”（baddata）或“脏数据”（dirtydata）。数据清理既是采用适当的方法处理数据中存在的问题的过程；也是对采集的数据进行汇总整理和结构化的过程。数据清理可以是一个人工或机器自动完成的过程，

它包含观察数据、结构化数据、清洗数据、扩充数据、验证数据和发布数据六个步骤。数据清理0102030405观察数据结构化数据清洗数据扩充数据验证数据06发布数据数据清理一、观察数据观察数据是数据清理的第一步，指熟悉数据，构思如何使用数据的过程。这一过程中需要对数据质量做出观察和判断，其中包括辨别数据呈现的趋势和模式，发现其中存在的明显问题，例如数据缺失、不准确的数据值等。对数据的五个新闻要素做分析，可以帮助我们发现数据中的问题，明确最终需要清理的数据范围。数据清理Who数据是谁提供的

What你想用数据告诉人们什么

When数据是何时采集的

Why这组数据有何意义Where数据的地理属性

数据清理二、结构化数据结构化数据是一个将数据转换为可被分析的数据格式的过程，要转换成怎样的数据表取决于使用怎样的分析模型来解释数据。机器可读的数据文件，即为了便于计算机进行读取和处理而生成的数据文件，而不是为了向人类用户展示。这些数据的结构与其内容相关，但与数据的最终展示形式不同。常见的机器可读数据文件格式包括CSV、XML、JSON和xls/xlsx文档等等。与机器可读的数据相反，另一类数据文件格式侧重视觉呈现，承担向用户展示数据的功能，但不便于计算机读取数据和处理分析。常见的侧重视觉呈现的数据文件格式包括Word文档、HTML网页和PDF文档。数据清理二、结构化数据从PDF中提取数据的三种方法：通过人工复制粘贴，这种方法能简单入手，但耗时耗力，且容易导致数据提取不稳定、易出差错；采用PDF转换器，这类转换软件或在线转换网站可以相对快捷高效地提取数据，但不太方便处理批量数据提取；由程序员编写自动化脚本，通过Python等程序语言调用转换PDF的工具包，从而实现批量数据提取的任务。案例：“笨方法”做出的好新闻韩国报纸《京乡新闻》发布作品《平均每天有三个工人永远不会下班》数据清理三、清洗数据清洗数据是指消除数据中存在的错误，以免它们影响数据分析和数据价值。清洗数据包括删除空白单元格或行/列，移除异常值，使所有输入都标准化。这个过程的目标是确保数据中不会有影响分析的差错。识别和消除任何影响数据清理后续过程的坏数据。参考Quartz网站发布的《坏数据指南》你怎么看：在计算机科学领域，有一句俗语“Garbagein,garbageout”，指输入垃圾数据会导致垃圾结果，你如何理解这种观点？数据清理三、清洗数据清洗数据时需要注意的事项：做好数据备份，另存数据并合理命名备份存档。检查数据是否完整、规范、一致，尤其是手动录入、汇总的数据。检查是否有合并单元格，如果有合并单元格需将其拆分、并做好数据填充。检查是否有异常值：包括重复值、错误值、空白行、列/单元格等。检查数据格式是否正确、一致：如文本、数字、日期应对应相应的格式。对缺失的数据进行填补，包括单元格的空值和零值的处理。“整洁的数据”应该符合三个规则：每一列是一个变量；每一行代表一个观测值/记录；不要把不同类型的数据堆在一个数据表里面。（WickhamH,RStudio.TidyData.JournalofStatisticalSoftware.2014,59(10),1-23.DOI:10.18637/jss.v059.i10.

）数据清理四、扩充数据判断数据是否足以做分析，如果不够充足，则需要从其他数据集中找相应的数值来填充和扩展数据。案例：RUC新闻坊的作品《暴雨再袭，台风对华北、东北影响在加剧吗？》

数据清理五、验证数据进一步检查在前面所完成的数据准备阶段的工作，确认数据是否一致，质量是否足够且安全。数据验证可以通过机器或人工来完成。常见的数据验证类型包括以下几种：数据类型验证：确认每个字段、列、列表、范围或文件中的数据与指定的数据类型和格式匹配。

约束验证：检查给定的数据字段输入是否符合特定范围内的指定要求。例如，它验证数据字段是否具有最小或最大字符数。

结构化验证：确保数据符合指定的数据格式、结构或模式。

一致性验证：确保数据样式一致。例如，它确认所有值均保留两位小数。

代码验证：类似于一致性检查，并确认用于不同数据输入的代码是正确的。例如，检查国家/地区代码。（KernerSM.DataValidation.(2022-01)[2023-12-13],/searchdatamanagement/definition/data-validation.）数据清理六、发布数据经过验证后的数据就可以发布了，这里的发布数据不是指直接对公众发布，而是将数据提供给机构内的其他人进行分析。在数据清理阶段，数据科学家或数据记者需要采用机构内合适的共享格式来发布数据，例如，有些机构采用在线电子表格的方式进行项目内不同人员的共享。

数据分析02数据分析统计分析大数据分析新闻编辑室里的数据分析包含两大类：一类是采用社会统计学领域的数据分析方法所做的处理和分析，另一类则是采用将传统的数据分析方法与处理大量数据的复杂算法相结合的数据挖掘（datamining）方法所做的大数据分析。

数据分析一、新闻中常见的统计学概念与统计分析方法统计学是应用数学的一个分支，是收集、分析、表述和解释数据的科学。统计分析分为统计描述和统计推论两类，统计描述是指将所观察的数据、资料，进行整理、归纳和分析，以期找出某种规律。而统计推论则指根据不完全数据对全体做出正确推论的方法，它要求根据统计资料的统计规律性，运用概率论，正确地从局部推论到整体。（卢淑华.社会统计学(第五版).北京:北京大学出版社.2021,16-20.

）

数据分析（一）统计描述在数据新闻中的应用统计描述可以提供关于一组定量数据特征的简单描述，在数据新闻中，常用的统计方法有频次分布、集中趋势测量法、离散趋势测量法和相关等。1.频次分布（frequencydistribution）社会统计学里的频次分布指一个概念或变量的全部取值及其频次的集合。例如，将一组变量分为不同组段，然后将各组段对应的观察值归纳到各组段中，最后清点各组段观察值个数（频次），就可以形成该变量的频次分布。伤亡类型人数轻伤890重伤396死亡1106数据来源：《中国林业统计年鉴》统计时段：1998-2017年表：森林火灾人员伤亡统计表数据分析与频次分布相关的概念百分比（percent）相对数中的一种，所谓相对数，即表示一个数是另一个数的百分之几，也称为百分率或百分数。只有明确基数的百分比才具有意义，如果不知道具体的基数是多少，百分比数据就缺乏了可参照的基础。

百分点一个很容易与百分比混淆的概念，它指不同时期以百分数的形式表示的相对指标的变化幅度，1个百分点=1%。

百分比变化用新数值减去旧数值，所得的差再除以旧数值，就得到了百分比变化。百分比变化能够让读者清楚地了解到数值随着时间的发展产生了怎样的变化趋势。环比和同比是两个常见的不同的描述百分比变化的术语。数据分析（一）统计描述在数据新闻中的应用正态分布是变量概率分布的一种形态，在平均值中央点的概率最高，两侧的概率逐渐降低，其曲线图形类似钟形。正态分布又称常态分布，这是我们身边很多现象的正常状态。例如人们身高、体重、智力水平的分布，都呈现出正态分布的趋势。

正态分布可以用来检验数据是否合理。如果依照常识，某组数据理应出现正态分布，但实际数据却并不吻合，这时就需要数据记者、编辑对数据展开核查，首先核查是否在数据整理分析的过程中出现了差错，如确认无误，则需要调查是何原因导致这组数据出现了异常情况，或许这些异常背后就蕴含着新闻。

数据分析案例：从正态分布图中发现网恋的身高谎言克里斯蒂·鲁德（ChristianRudder）的作品《有关网恋的大谎言》（TheBigLiesPeopleTellinOnlineDating）

数据分析案例：从正态分布图中发现网恋的身高谎言数据分析2.集中趋势（Centraltendency）也被称为集中值，指用某一个典型的变量值或特征值来代表变量的全貌。与集中趋势相关的统计概念包括以下三个：均值（mean，即平均数）：是最常用到的统计量，表示某变量的所有变量值的集中趋势或平均水平，它适用于分析定距变量。中位值（median）:如果一组数据中恰好使累积概率取1/2的变量值，即将一组数据按大小排列，取最中间的那个数值，这就是中位值或中位数。

众值（mode）：指在一组数据中出现频次最高的数值。众值适用于分析定类、定序和定距变量。

（一）统计描述在数据新闻中的应用数据分析3.离散趋势（Dispersiontendency）

离散趋势是指一组数据背离分布集中值的特征，反映了各变量值远离其集中值的程度。离散趋势可以通过异众比率（非众数组的频数占总频数的比率）、极差（观察的最大值与观察的最小值的差数）、四分互差（用75%位点数据和25%位点数据相减而得的差数）、方差与标准差来测量。方差（variance）是各个数据与平均值之差的平方和的平均值，表示一系列数据或统计总体的分布特征的值。标准差（standarddeviation）也称均方差，是各数据偏离平均值的距离的平均值，它是方差的算术平方根。

（一）统计描述在数据新闻中的应用数据分析案例数据分析统计推论是指根据样本数据去推断总体数据特征的统计分析方法。统计推论大体可分为两部分：一是通过样本对总体的未知参数进行估计，简称参数估计（parameterestimation）；二是通过样本对总体的某种假设（例如参数或分布情况）进行检验，简称假设检验（hypothesistest）

（二）统计推论在数据新闻中的应用数据分析1.参数估计

参数估计可以细分为点估计和区间估计，其中点估计是用样本计算出来的一个数来估计未知参数，而区间估计则是通过样本计算出一个范围来对参数进行估计。一般的，点估计的精度较难判断，而区间估计则既要给出一定的参数区间，还要求给出所给区间未知参数的概率。

置信度也被称为置信概率、置信系数，指以测量为中心，在一定范围内，真值出现在该范围内的几率。置信度表示用置信区间估计的可靠性，一般置信度是根据实际情况预先被设定的，常给定为0.95。置信区间指在某一置信度下，以测量值为中心，真值出现的范围，即一定概率下真值出现的取值范围，这里的概率就是置信度。

与置信度相关，显著性水平表示的是用置信区间估计不可靠的概率。置信度和显著性水平之和为1，因而假设给定的置信度为0.95，那么就意味着显著性水平为0.05。（二）统计推论在数据新闻中的应用数据分析2.假设检验统计学意义上的假设检验是指“经过抽样获得一组数据，即一个来自总体的（随机）样本，如果根据样本计算的某个统计量（或几个统计量）表明在原假设H0成立的条件下几乎是不可能发生的，就拒绝或否定这个原假设，并继而接受它的对立面——备择假设。反之，如果在原假设H0成立的条件下，根据样本所计算的某个统计量发生的可能性不是很小的话，那么就接受原假设。”

这里H0也被称为“零假设”，而显著性水平α是在零假设成立条件下，统计检验中所规定的小概率的标准，即规定小概率的数量界线，常用的标准为α=0.10、α=0.05或α=0.01。p值是根据样本计算得出的概率，如果p值小于α，说明零假设被拒绝，继而接受备择假设；反之则原假设成立。（二）统计推论在数据新闻中的应用数据分析案例数据分析数据挖掘出现于20世纪80年代，指“通过仔细分析大量数据来揭示有意义的新的关系、趋势和模式的过程”。它是一种将传统的数据分析方法与处理大量数据的复杂算法相结合的技术，是在大型数据存储库中自动地发现信息的过程。

（王光宏,蒋平.数据挖掘综述.同济大学学报.2004(2).）数据挖掘吸纳了多个学科的给养，不仅利用了来自统计学的抽样、估计和假设检验等思维与工具，还包括了人工智能、模式识别和机器学习的摸索算法、建模技术和学习理论，并借助于数据库技术、并行计算、分布式计算等领域的最新成果发展而成。（

TanP-N,SteinbachM,KumarV.数据挖掘导论(完整版).范明,范宏建(译).北京:人民邮电出版社.2010:2-6.

）

二、数据新闻中的数据挖掘

数据分析二、数据新闻中的数据挖掘

1234预测建模predictivemodeling以说明变量函数的方式为目标变量建立模型。预测建模任务包含分类和回归两种，分类用于预测离散的目标变量，回归则用于预测连续的目标变量。关联分析associationanalysis用于发现描述数据中强关联特征的模式。由于搜索空间是指数规模的，关联分析的目标是以有效的方式提取最有趣的模式。聚类分析clusteranalysis旨在发现紧密相关的观测值组群，使得与属于不同簇的观测值相比，属于同一簇的观测值相互之间尽可能类似。异常检测anomalydetection识别其特征显著不同于其他数据的观测值，这样的观测值成为异常点或离群点。TanP-N,SteinbachM,KumarV.数据挖掘导论(完整版).范明,范宏建(译).北京:人民邮电出版社.2010:2-6.

数据分析案例：《穆鲁罗瓦档案》

2021年9月，美国普林斯顿大学、英国和挪威的建筑师团体Interprt以及法国调查媒体Disclose共同开展了两年之久的调查项目《穆鲁罗瓦档案》发布，该项目在数千份解密军事文件、数百小时的计算和数十份未发表的证词的帮助下，揭示了1966年至1974年间法国在波利尼西亚群岛上空的数次核爆炸实验对当地平民带来的核污染比官方公布的数据要严重得多的事实。项目中的最具挑战性的部分是团队开发了一种技术模型，利用普林斯顿大学的计算机在实验室中虚拟重现了法国的核试验。完成计算后，设计师和建筑师对法属波利尼西亚群岛上的放射性云及其沉降物的轨迹进行3D建模，并模拟了村庄受到的辐射影响以及食物和居民受到污染的精确程度。

数据分析案例：《53027条留言背后，网络树洞里绝望者的自救与互助》》国内数据挖掘方法最为集中的应用在文本挖掘领域。文本挖掘可以是对单文档的数据挖掘，也可以是对文档集的数据挖掘。文本挖掘需要先采用分词、特征表示和特征提取等技术对数据做预处理，然后才可展开挖掘分析，常见的文本挖掘分析技术有文本结构分析、文本摘要、文本分类、文本聚类、文本关联分析、分布分析和趋势预测等。

2019年9月，澎湃新闻发表的作品对因抑郁而自杀的女大学生“走饭”的3276条微博文本展开了情感分析，并对这些微博后的53027条留言文本做了主题分析和社会网络分析。

对“走饭”的所有微博（包括小号）进行文本的情感分析后生成的“情感乐章”

数据分析0102分组分析指根据数据分析对象的特征，按照一定的标准（指标），把数据分析对象划分为不同的部分和类型来进行研究，以揭示其内在的联系和规律性。

030405结构分析指总体内的各部分与总体之间进行对比的分析方法，即总体内各部分占总体的比例，属于相对指标。

平均分析指运用计算平均数的方法来反映总体在一定时间、地点条件下某一数量特征的一般水平。综合评价分析是一种多变量评价分析，运用多个指标对多个参评单位进行评价的方法。

06对比分析是指将两个或两个以上的数据进行比较，分析它们的差异，从而揭示这些数据所代表的事物的发展性状和变化规律。

三、实用的数据分析思路

相关分析即通过相关表或相关图等方式来判断两个变量是否存在不确定的统计关系的数据分析方法。

数据分析0102缺乏代表性的均值

030405仅供参考的趋势

缺乏可比性的对比

将相关关系等同因果关系

06忽略基数的百分比

四、警惕“数据陷阱”

将抽样样本直接等同于全样本

数据清理和分析中的伦理问题03数据清理和分析中的伦理问题记者需要时刻警惕，对数据错误的处理和伦理问题可能会损害数据新闻的准确和严谨。在操作数据新闻的过程中，伦理问题遍布各个环节：数据采集中需注意不能片面选择数据源，注重多源交叉核实和验证；文案写作环节需注意交代数据的背景信息，描述数据时不能故意歪曲，需阐明数据的局限；数据可视化环节中需注意视觉设计如何准确地展现数据，而不能用视觉规律误导受众等。一般的新闻报道伦理也适用于数据新闻领域，同时，数据新闻因其涉及数据和可视化，其伦理规范上还存在一定的特殊性。

数据清理和分析中的伦理问题2012年，美国康涅狄格州的一所小学发生了校园枪击案，纽约怀特普莱恩斯的《期刊新闻》（JournalNews）的一位记者撰写了一篇关于枪击事件可能扩大化的报道，公开可获取枪支许可证的数据，并附有三张带有枪支许可证持有者位置的在线地图，这些地图上还公布了一些郊县枪支许可证持有者的姓名与地址。此举引发了当地公众的抗议，同时也使该国记者在社群中展开广泛讨论。有研究发现，记者社群关于该事件的讨论主要围绕新闻伦理展开，涉及“自由与责任”“新闻目的”“隐私”“验证”“后果”“替代方案”等主题框架。该研究对数据新闻从业者提出了如下的建议：一、隐私数据处理数据清理和分析中的伦理问题1.每当数据包含个人信息时，新闻编辑室必须讨论是否将其发布到网上。2.新闻编辑室需要考虑的问题包括：第一，该信息是否服务于新闻和公共目的？到什么程度？数据必须至少满足这两个目的才能发布到网上。第二，这些信息可能会伤害谁？到什么程度？数据元素是否会给个人的私生活带来风险？可能错误或过时的数据会产生什么潜在影响？第三，是否有其他方案可以最大限度地减少伤害，例如汇总个人数据而不是使用个人姓名和地址？第四，数据可以验证吗？是否采取了合理的步骤来验证数据的准确性？在发布之前可以通知数据库中涉及的人员吗？可以采取哪些措施来纠正发布后发现的数据错误？3.最终决定应考虑所有这些因素，以新闻目的和尽量减少伤害为最高优先级。

CraigD,KettererS,YousufM.ToPostorNottoPost:OnlineDiscussionofGunPermitMappingandtheDevelopmentofEthicalStandardsinDataJournalism.Journalism&MassCommunicationQuarterly.2017,94(1),168-188.DOI:10.1177/1077699016684796.

数据清理和分析中的伦理问题在一项针对前述全球数据新闻奖和SIGMA数据新闻奖的获奖项目的研究中，研究者发现:关于隐私数据处理是他们调查的三个伦理问题中表现最不完善的，尽管大多数项目都采用例如隐藏元数据和使用虚构来源名称等方法来保护其数据来源和故事中出现的个人来源，但是几乎没有一个项目解释了它们是出于何种原因而排除姓名、地址和其他相关信息等个人数据，所有研究的项目都没有提及知情同意，后者被视为保护新闻报道中出现的个人隐私的一项基本权利。

Chaparro-DomínguezM-Á,Díaz-CampoJ.DataJournalismandEthics:BestPracticesintheWinningProjects(DJA,OJAandSigmaAwards),JournalismPractice,2023,17(6),1321-1339,DOI:10.1080/17512786.2021.1981773.

数据清理和分析中的伦理问题“我们采集不到跟个人隐私相关的数据，可能最近也就是信令数据了，但是信令数据本来就是脱敏的，已经过滤掉任何跟个人隐私相关的东西了，都是去ID化的处理。你能分析到的是这个用户有什么行为，他的年龄、他用的手机，但不能知道他是谁。我们有的时候也想联系到个人，由信令出发，其实想找到属于这一个批次数据的真实个人，然后有利于讲故事，但根本就拿不到。”(中央广播电视总台新闻中心经济新闻部记者刘佳昕

)“如果和互联网平台合作挖掘数据，给我们提供的数据都是脱敏的、没有个人的信息。如果是我们在网上公开平台采集的话，其实也很少涉及到个体的行为的情况。”(南都大数据研究院秘书长凌慧珊

)

数据清理和分析中的伦理问题“在设计问卷的时候就会注意不问敏感的隐私数据，如果是爬数据的话，平台都会对用户数据做保护，也不太能爬到别人的隐私数据，只能爬到用户发了什么帖子、帖子内容是什么。如果是明显地引用用户的留言和图片，一般编辑或作者会去找他们要授权，得到许可后再使用。”

(网易数读主编巫雨松)“在爬取数据的时候，或者录入数据的时候，以及在找其他组织要数据的时候，我们会有意识地隐去一些和个体比较密切、能锁定到个体的信息，其他组织也会因为数据隐私问题考虑不给我们这些数据，或者给我们一个脱敏后的版本。感觉现在对数据隐私的规范确实比几年前更敏感。”(财新传媒的数据记者张梅婷)

数据清理和分析中的伦理问题一、隐私数据处理“数据脱敏”主要是指数据去隐私化，即运用一定的脱敏规则使某些敏感信息数据变形，从而保护报道对象的隐私。

案例：澎湃新闻“美数课”栏目发布的《我们去了相亲角6次，收集了这874份征婚启事》《转角遇到爱》系列报道在数据结构化的过程中排除了收集数据中指向过于精细的“联系方式”“家庭住址”等个人隐私数据；对结构化的数据中具有个人隐私的数据做相应的模糊化处理。

数据清理和分析中的伦理问题在数据工作中，创建并遵循一个数据保护计划，该项计划旨在降低泄漏数据的概率，并且在数据泄漏发生后能够降低伤害。英国数据服务中心（UKDataService）归纳的数据保护计划必备的五项要素（也被称为“5个安全”）：项目安全：对涉及道德伦理的项目数据采取限制措施对象安全：访问仅限于可信任的数据人员（例如，经过道德培训的人）数据安全：尽可能将数据标识并汇总设置安全：对储存于计算机中的数据采取适当的物理（例如，锁闭的房间）和软件（例如，密码保护、加密）保护成果安全：审查研究成果以防止意外隐私泄漏

[美]马修·萨尔加尼克.计算社会学:数据时代的社会研究.赵红梅,赵婷译.中信出版集团.2019:280-289.

数据清理和分析中的伦理问题二、透明性透明性一直被视为新闻业的重要职业准则。2001年，比尔·科瓦齐和汤姆·罗森斯蒂尔在《新闻的十大基本原则》中较早系统性地提出“透明性原则”（ruleoftransparency）。“透明”意味着记者和编辑需在新闻报道中做出必要的说明，解释新闻是如何获得的，为什么要用特定的方式处理和表达，以及坦诚报道中尚未解决的问题和局限。他们认为这一原则能够替代饱受争议的客观性原则。（比尔·科瓦奇，汤姆·罗森斯蒂尔.新闻的十大基本原则.刘海龙,连晓东,译.北京:中国人民大学出版社,2011.）迈克尔·卡尔森(MichaelKarlsson)对透明性原则做了分类，将之区分为“公开的透明性”和“参与的透明性”。公开的透明性指新闻选择和制作方式的公开，而参与的透明性则涉及受众参与新闻选择和制作的程度。（KarlssonM.RitualsofTransparency:EvaluatingOnlineNewsOutlets’UsesofTransparencyRitualsintheUnitedStates,UnitedKingdomandSweden.JournalismStudies.2010,11