第2章 新媒体数据的获取

AIGC与新媒体数据分析（慕课版）新媒体数据的获取目录CONTENTS新媒体数据获取概述新媒体数据获取的方式AI辅助新媒体数据获取Part1新媒体数据获取概述新媒体数据获取是新媒体数据分析的重要环节。新媒体数据获取的要点包括新媒体数据需求及目标识别，选择新媒体数据的来源，选择新媒体数据的获取方式，应用获取的新媒体数据。新媒体数据获取的要点1．新媒体数据需求及目标识别新媒体数据需求及目标识别是新媒体数据分析的第一步，它对后续的数据预处理、分析和应用等环节至关重要。（1）需求分析要进行新媒体数据分析，首先要对新媒体数据的需求进行分析，明确需要哪些类型的数据。例如，运营人员是想要了解用户的真实需求，还是想要了解运营情况或销售情况。在明确需求之后，才能获取有针对性的数据，数据分析才会精准。（2）目标识别在明确数据需求的基础上，还需要对新媒体数据分析的目标进行识别，即明确新媒体数据分析的目标是什么，以及如何利用这些数据来实现目标。例如，想要了解近期公众号粉丝增长缓慢的原因，运营人员可以查找哪个推广公众号的渠道出了问题，并将其作为目标来进行数据分析。新媒体数据获取的要点2．选择新媒体数据的来源新媒体数据的来源非常广泛，运营人员需要根据自己的需求和目标，选择合适的数据来源收集数据。（1）社交平台数据常用的社交平台有微信、微博、QQ等。分析社交平台数据的，运营人员可以了解用户的行为习惯和兴趣，从而制定更加精准的运营策略。例如，可以利用公众号的自有统计工具统计公众号数据，然后使用Excel进行数据的处理与分析，如图所示。新媒体数据获取的要点（2）短视频平台数据常见的短视频平台有抖音、快手等。分析短视频平台的数据，可以了解用户的观看习惯和喜好，进而更好地进行内容创作。短视频平台未采取传统的“图片+文字”的社交模式，其具有交互性强、内容丰富、用户参与度高、便捷性强等特点，这些特点使得观看短视频成为一种新的社交方式。5G的发展更为视频传播创造了有利条件，因此短视频平台产生的数据对视频推送、广告投放、关系衡量等具有重要意义。运营人员既可以在后台获得短视频平台数据，也可以通过第三方工具获得短视频平台数据。例如，运营人员可以在抖音后台获得粉丝画像，从而了解粉丝的性别分布、年龄分布，如图所示。新媒体数据获取的要点（3）新闻端平台数据随着移动互联网的发展和智能手机的普遍应用，新闻端平台成为人们获取新闻的重要途径。新闻端平台可以为用户提供最新的新闻动态和热点事件，对运营人员进行用户定位、标题修改、内容排版等具有指导意义，如文章阅读量、评论量等数据是运营人员评估和改进内容的参考依据。下图所示为今日头条的后台数据。新媒体数据获取的要点（4）网站平台数据在自媒体冲击的时代，虽然微博、微信、短视频平台等成了新媒体的主要阵地。但是这些新媒体的发展都离不开互联网，网站的运营作用仍是不容小觑的。网站平台的用户基数大，产生的数据量也非常庞大。分析这些数据，可以了解用户的浏览习惯和喜好，为内容创作提供参考。网站平台数据通常包括浏览量、访客数、IP数、跳出率等，如下图所示。新媒体数据获取的要点（5）网络用户行为数据网络用户行为数据是指能够反映用户在网络环境中行为的数据，如用户的交易记录、浏览访问记录等。下图所示为用户的网页浏览记录。（6）网络舆情数据网络舆情数据是指在互联网上，以事件为核心，广大网民情感、态度、意见、观点的表达、传播与互动，以及后续影响力的集合。它是社会舆情在网络空间的映射，是社会舆情全新的反映形式。新媒体数据获取的要点3．选择新媒体数据的获取方式由于新媒体数据来源比较丰富，因此新媒体数据的获取方式也是多样化的。在获取新媒体数据时，为了保障获取数据的效率和准确性，对不同来源的数据应采取不同的获取方式。新媒体数据的获取方式有很多种，如从新媒体账号后台获取数据、使用第三方数据分析工具获取数据，以及使用网络爬虫工具获取数据等。4．应用获取的新媒体数据运营人员主要根据分析目的来获取数据，如要分析运营质量，就需要关注账号的总粉丝数、获赞数，以及单条视频播放量、转赞评数等。获取的新媒体数据主要用于以下几个方面。（1）政务治理获取的新媒体数据在政务治理方面发挥着重要作用。例如，政府可以通过获取的新媒体数据进行舆情监测，及时了解公众对政策的反应和评价，以便及时对政策进行调整和优化。此外，新媒体数据还可以用于风险防范，如政府通过对网络上的舆论动态进行分析，可以预判和防范可能的社会风险。新媒体数据获取的要点（2）企业品牌管理企业可以通过获取的新媒体数据了解用户对其品牌的评价和反馈，从而进行品牌管理。例如，企业通过分析社交媒体上的用户评论，可以及时了解产品的不足，从而进行产品改进。此外，获取的新媒体数据还可以用于市场研究，帮助企业了解市场动态和用户需求，从而制定有效的市场策略。（3）媒体传播媒体可以通过获取的新媒体数据追踪热点和编辑选题，提高新闻报道的时效性和准确性。例如，通过分析社交媒体上的热门话题，媒体可以及时报道最新的新闻事件，提高新闻报道的时效性和准确性。（4）科研教学科研人员和教师可以通过获得的新媒体数据进行研究课题的设计和教学案例的开发。例如，教师可以通过新媒体数据设计教学案例，提高教学的实用性和实效性。新媒体数据获取的流程主要分为两步：明确信息需求和按信息需求获取数据。1．明确信息需求明确信息需求是新媒体数据获取的基础，也是保证数据分析过程科学、有效的首要条件。数据采集切忌大而全，新媒体运营人员应该根据新媒体账号运营需求明确数据采集的需求，从而让数据采集有针对性。新媒体运营人员要想明确信息需求，就需要先掌握开展数据分析将要用到的核心指标，并根据核心指标构建数据分析指标体系，然后根据数据分析指标体系有针对性地采集数据。下面以短视频账号为例来说明数据分析指标体系的构建过程。首先，明确核心指标。假设新媒体运营人员希望通过数据分析增加账号的粉丝数，因此核心指标就是粉丝数。其次，新媒体运营人员要分析用户画像，包括用户的年龄、性别等，找到与用户画像相对应的指标，如用户观看短视频的时间段以及用户对不同短视频的观看时长等，从而形成以用户画像为核心的数据分析指标体系。2．按信息需求获取数据明确了信息需求之后，新媒体运营人员应整理数据指标，这样可以在获取数据时有方向、有目的，也能在获取数据后知道要分析什么，有利于提高后续数据分析工作的效率。新媒体数据获取的流程在新媒体数据采集的过程中，新媒体运营人员要注意判断数据的可用性，包括数据真实性的判断、数据完整性的判断、数据价值性的判断。只有确保采集到的数据是可用的、有价值的，后续的数据分析工作才有意义。1．数据真实性的判断在新媒体数据采集的过程中，数据真实性的判断是指对数据的真伪进行辨别，以保证数据的可靠性。新媒体运营人员可以从数据来源、数据细节两个方面辨别数据的真实性。（1）数据来源在新媒体数据采集的过程中，首先要保证数据来源权威、可靠。如果数据来自官方或者权威机构，那么这些数据的真实性通常较高。例如，抖音的直播数据通常来自抖音官方平台，因此具有较高的真实性。如果数据来自非官方或者不可靠的机构，那么这些数据的真实性可能会被质疑，所以新媒体运营人员需要在采集数据时进行仔细甄别。（2）数据细节在采集数据时，还需要关注数据细节。例如，如果很多账号关注者显示为零关注、零粉丝、零作品，那么这些数据的真实性可能会被质疑。数据的增长趋势和比例关系也是需要关注的数据细节，如果数据的增长符合“先快后慢”的基本规律，并且各个指标之间比例协调，那么这些数据的真实性可能较高。新媒体数据可用性的判断2．数据完整性的判断数据完整性的判断是指检查数据记录和字段是否完整。如果数据记录或字段缺失，那么这些数据就不是完整的。例如，如果一份调查报告中缺少关键的问题或者答案，那么这份报告的数据就不是完整的，这样的数据往往就是不可用的。3．数据价值性的判断数据价值性的判断是指判断数据是否能为研究主题提供支持、对研究主题是否有参考价值。新媒体运营人员可以从数据的时效性、支持性和全面性3个方面来对数据的价值性进行判断。（1）数据的时效性新媒体数据的时效性是非常重要的。在新媒体时代，数据的更新速度非常快，如果不能及时获取和处理数据，就可能错过重要的信息。因此，新媒体运营人员需要有快速获取和处理数据的能力，以保证数据的时效性。例如，新媒体运营人员在进行短视频账号运营时，如果某条视频成了爆款，那么新媒体运营人员就需要迅速对这条视频的数据进行收集和分析，找到视频成为爆款的原因，然后调整后面视频的拍摄、发布等，这样有利于短视频账号的发展。新媒体数据可用性的判断（2）数据的支持性数据能否为论证某个研究主题或观点提供支持是判断数据价值性的一个重要方面。有些数据虽然没有任何问题，但是它不能为论证某个研究主题或观点提供任何帮助，这样的数据就是没有价值的。例如，新媒体运营人员想要了解自己运营的抖音账号的粉丝增量情况，那么体现抖音账号评论增量的数据在这里就没有直接意义。（3）数据的全面性有些数据能够为某个研究主题或观点提供支持，但这个研究主题或观点并不能仅用这些数据来说明，因为这些数据仅是说明这个主题或观点的一项数据。例如，新媒体运营人员想要分析公众号的用户画像，其不能仅收集一天的数据，也不能仅收集粉丝的性别数据，而是需要收集一段时间的数据，且除了性别数据，还需要收集粉丝的地域、年龄等数据。新媒体数据可用性的判断Part2新媒体数据获取的方式借助新媒体账号后台在新媒体行业飞速发展的时代，通常各类新媒体账号后台都可以为运营人员提供账号运营数据。以公众号为例，运营人员进入公众号后台即可查看与公众号相关的数据。图2-6所示为某公众号指定时间段内的流量来源数据，用户可以直接单击【下载数据明细】，查看下载后的明细数据，可以在Excel中查看，部分数据如图2-7所示。使用第三方数据分析工具有些数据是新媒体平台无法提供的，运营人员可以通过第三方数据分析工具获取。在新媒体领域，常用的第三方数据分析工具有新榜、蝉妈妈、飞瓜数据等。下面以飞瓜数据为例，介绍使用第三方数据分析工具获取数据的方法。飞瓜数据可以为抖音、快手、哔哩哔哩（简称B站）等提供多维度的数据监测与运营分析服务。通常各平台后台仅提供部分基础数据，而飞瓜数据作为专业的第三方数据平台，能够为内容创作者和品牌方提供更全面、多维度的数据价值评估服务。飞瓜数据已覆盖数千万个账号，并对其中具有影响力的优质账号进行每日持续监测。基于这些数据，飞瓜数据可发布涵盖达人、直播、商品、品牌等维度的细分榜单，如“直播带货达人榜”“商品榜”（见图2-8）等，帮助用户实时把握市场动态与热门趋势。使用第三方数据分析工具除此之外，飞瓜数据作为专业的短视频与直播数据分析平台，能够帮助用户深度洞察各平台内容与电商动态，构建完整的数据评估体系。图2-9所示为飞瓜抖音版中的“商品数据大盘”页面，用户可从商品类目、带货方式等维度查看销售额、销量、浏览量等趋势变化。使用网络爬虫工具网络爬虫是一种自动化程序，能够根据预定规则自动浏览网页并抓取数据。使用网络爬虫获取数据就是根据相关的主题或关键词批量、快速地从网站及新媒体平台上提取信息。从编程语言的角度来说，人们可以使用任意一种能够发起请求的编程语言来编写网络爬虫。例如，用Python、Java等编程语言编写网络爬虫来采集新媒体数据。但是这需要人们掌握这些编程语言，难度较大。为了便于人们使用网络爬虫从网络上采集信息，市场上出现了很多网络爬虫工具，这些工具能够简化并自动完成整个数据爬取过程，让人们无须懂得编程语言就能轻松地采集网络数据，并将采集到的数据转换为符合需求的各种格式。常用的网络爬虫工具有八爪鱼采集器、爬山虎采集器等。下面以八爪鱼采集器为例，介绍使用网络爬虫工具获取数据的方法。八爪鱼采集器是一款使用简单、功能强大的网络爬虫工具，它可以实现完全可视化操作，用户不需要编写代码，就可以在很短的时间内轻松地从各种不同的网站或网页上获取大量的规范化数据。它帮助用户实现数据自动化采集与编辑，摆脱对人工的依赖，从而降低获取信息的成本，提高工作效率。八爪鱼采集器采集数据有模板采集和自定义采集两种模式：模板采集易操作，门槛低，用户无基础也可快速上手；自定义采集可以满足个性化需求，适合对八爪鱼采集器有一定了解、掌握八爪鱼采集器各项功能的用户使用。Part3AI辅助新媒体数据获取AI在数据获取中的作用AI在新媒体数据获取中扮演着至关重要的角色。通过高效的信息采集和处理技术，AI能够帮助新媒体运营人员提高数据获取的效率。（1）提升数据采集效率与自动化水平传统的数据采集方式往往需要大量的人工操作，如逐页翻看、手动复制粘贴等，耗时且效率低下。AI驱动的自动化流程，能够大幅提升数据采集的效率。例如，基于AI的网络爬虫可以智能识别网页结构，自动遍历页面并抓取所需数据，无须人工逐个访问。一些先进的AI工具甚至能够模拟人类浏览行为，处理登录、输入验证码、翻页等复杂操作，实现全天候不间断的数据采集。（2）提高数据质量传统手动采集数据容易出现录入错误、遗漏等问题。AI通过自然语言处理技术和智能识别算法，能够自动筛选和过滤无效或错误的数据，确保获取的数据质量更高。例如，在采集商品信息时，AI可以自动识别并提取标题、价格、评价等关键字段，避免无关信息的干扰。同时，AI还能对采集到的数据进行初步的清洗和验证，如识别重复数据、补全缺失字段等，从而提升数据的整体质量。（3）拓展数据来源与类型AI不仅能够获取常见的文本数据，还能对海量的非结构化数据（如图片、音频和视频等）进行分析和处理，极大地拓展了新媒体数据的来源和类型。例如，为方便后续分析，AI可以通过图像识别技术从视频截图中提取品牌标识、场景信息，以及通过语音识别技术将视频中的对白转换为文字。这种多模态数据获取能力，为新媒体运营人员提供了更丰富、更立体的数据素材，有助于其做出更精准的运营决策。AI在数据获取中的作用AI在新媒体数据获取中扮演着至关重