大数据营销(第2版 数字教材版) 课件 第3章 营销大数据采集及预处理_第1页
大数据营销(第2版 数字教材版) 课件 第3章 营销大数据采集及预处理_第2页
大数据营销(第2版 数字教材版) 课件 第3章 营销大数据采集及预处理_第3页
大数据营销(第2版 数字教材版) 课件 第3章 营销大数据采集及预处理_第4页
大数据营销(第2版 数字教材版) 课件 第3章 营销大数据采集及预处理_第5页
已阅读5页,还剩27页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第3章

营销大数据采集及预处理本章内容

第1节

数据采集

第2节

数据预处理

第3节

大语言模型应用学习目标了解大数据的类型和数据来源了解数据采集过程,培育正确的信息隐私观了解大数据采集方法以及使用八爪鱼工具进行数据采集的基本方法掌握数据预处理的方法,每种方法对应处理的问题类型,以及运用大模型辅助数据预处理的操作方法

导入案例

联通在线多途径数据收集,开展精准营销联通在线公司拥有4亿全网用户的大数据能力,每日数据采集量有100TB,用户触达能力达到数亿级,其强大的数据采集能力主要归功于收集渠道的多元化在内部用户数据的采集上,联通在线公司通过收集用户与公司交互形成的数据并结合特有的网络资源能力,在进行集中化处理后实现智能中台的功能联通在线公司还通过收集第三方用户的数据,了解用户的整体消费趋势,进一步完善数据营销体系沃广告还通过开放创新对外合作模式,打造移动营销新生态,提升转换效果本章知识结构数据类型数据预处理营销数据采集及预处理数据采集方法结构化数据、非结构化数据、半结构化数据系统日志、感知设备、网络爬虫及其实践、市场调查数据清洗、数据集成、数据变换、运用大语言模型实践数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题一、数据类型第1节

数据采集数据预处理数据采集结构化数据结构化数据是指关系模型数据,即以关系数据库形式管理的数据,可计算、可查询、可定义。结构化数据能够形式化存储在数据库里,可以用二维表结构来表示,它被归类为定量数据。非结构化数据非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不便于用数据库二维逻辑表来表现的数据,在技术上比结构化信息更难标准化和理解。半结构化数据半结构化数据是介于完全结构化数据和完全无结构数据之间的一种结构化数据形式。因其比较特殊,所以单独列出来,但本质还是结构化数据。半结构化数据是非关系模型的、有基本固定结构模式的数据。数据三大类型大语言模型应用数据采集

应用数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题二、数据来源第1节

数据采集数据来源

搜索引擎搜索数据和网站的点击浏览数据来源于搜索引擎,搜索平台拥有庞大的用户行为数据。利用点击和浏览数据对消费者进行分析,可以找到用户的关注点、兴趣点,利用这些信息,企业可以对用户进行个性化推送,精准营销,极大提高了广告的效率。电子商务平台商品的搜索数据、浏览数据、交易数据、评价数据以及对应的用户数据来源于电子商务平台。通过对商业大数据的分析,能够更直接地了解消费者的动态。通过用户的点评数据,企业能够分析出用户满意或者不满意的地方,这些因素就是企业存在的优势和劣势。收集、分析用户的点评数据还有一个重要之处就是倾听用户的意见、了解用户的真实需求。社交媒体平台用户属性标签、用户生成内容(UGC)、用户间社交网络数据来源于社交媒体平台。通过对社交网络的研究,企业可以跟踪信息传播路径。基于用户的行为和属性标签,可以生成用户画像,从而了解用户喜好,企业根据分析结果来开展精准营销。数据预处理数据采集大语言模型应用数据采集

应用数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题三、数据采集方法第1节

数据采集系统日志系统日志数据采集主要是收集公司业务平台日常产生的大量日志数据,供离线和在线大数据分析系统使用。很多互联网企业都有自己的海量数据采集工具用于系统日志采集,如Hadoop公司的Chukwa,Cloudera公司的Flume,以及Facebook公司的Scribe等。这些工具均采用分布式架构,能满足每秒数百兆字节的日志数据采集和传输需求。数据预处理数据采集大语言模型应用数据采集

应用数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题第1节

数据采集感知设备三、数据采集方法感知设备数据采集是指通过传感器、摄像头和其它智能终端自动采集信号、图片或录像来获取数据。在智能制造、可穿戴设备、物联网愈发普及的今天,高速、可靠的数据采集技术是当前需要重点突破的方向。科技快速发展,技术创新给大数据采集提供了新的方法,比如基于眼动(EM)、脑电图(EEG)、事件相关电位(ERP)、皮肤电反应(GSR)、肌电(EMG)、心电图(ECG)等前沿科技来采集数据。通过感知设备对生物数据进行采集的方式在广告、消费者评论领域均有很强的应用价值,逐渐成为营销领域研究者的“新宠”。数据预处理数据采集大语言模型应用数据采集

应用数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题第1节

数据采集三、数据采集方法网络爬虫网络爬虫是指按照一定规则在搜索引擎下载并存储网页的程序或脚本,又被称为网页蜘蛛、网络机器人。传统爬虫从获得一个或若干初始网页的URL开始,在抓取网页的过程中,不断从当前页面抽取新的URL放入队列,直到满足系统的停止条件后结束。从严格意义上来说,爬虫更像一种数据下载逻辑,很多软件都具备爬虫的功能(如Python、R、“火车头”、“八爪鱼”等)。数据预处理数据采集大语言模型应用数据采集

应用数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题第1节

数据采集三、数据采集方法市场调查利用上文所说的信息化手段收集资料非常方便,但对于有些数据,如顾客需求及偏好、顾客满意度、市场环境和行情信息、竞争对手信息以及战略合作伙伴方的情况等无法通过信息化手段取得资料时,则需要通过市场调查或科学的实验方法来获取一手数据。市场调查分为线下、线上两种。线下即传统人与人面对面的调查方式;线上即网络在线调查方式,相比线下方式可以在投入较少人力、时间和资金的情况下获取更大规模数据,许多企业和市场调研机构越来越多地采用线上网络市场调研的方式进行网络营销数据采集。数据预处理数据采集大语言模型应用数据采集

应用数据类型丨数据来源丨数据采集方法丨大数据采集面临的问题第1节

数据采集四、大数据采集面临的问题数据获取渠道缺乏项目二数据质量难以保证项目三隐私安全问题凸显缺少数据获取渠道,是数据分析面临的一大难题。很多行业和企业并没有积累数据的意识,导致很多数据存在空白。此外,大数据包含大量信息,可能涉及到用户的隐私和公司的机密,企业和政府不愿意分享数据。大数据的“大”是指全体样本,而非单指数据量大。现有平台数据质量参差不齐,大数据采集能力有待提升,实践中很难获得全样本数据,庞杂的数据中充斥着大量无效的干扰性数据、缺失内容,如何让收集到的数据样本丰富全面,是大数据给营销变革带来的挑战之一。互联网时代,在线活动与在线交易不断增多,用户数据与隐私泄露事件时有发生,网络安全威胁更为严峻。数据挖掘一方面可以被企业有效利用,增强营销活动的精准度,提升营销效率;但另一方面,如果缺乏有效监管,用户数据被不法分子得到,将会带来严重的损失与危害。数据预处理数据采集大语言模型应用数据采集

应用第2节

数据预处理一、数据清洗数据清洗|数据集成|数据变换|数据归约概念:数据清洗主要是通过填写缺失值对“脏数据”进行处理,识别或删除离群点,将数据库中所存数据精细化,并使剩余数据转化成标准可接受格式的过程,以达到格式标准化、异常数据消除、错误纠正、重复数据清除等目的。原始数据中的“脏数据”指源系统中不在给定的范围内、对于实际业务毫无意义、数据格式非法、存在不规范的编码和含糊业务逻辑的数据。在数据清洗步骤中,主要解决数据出现遗漏值、噪声、异常值等问题。数据预处理数据采集大语言模型应用数据采集

应用第2节

数据预处理一、数据清洗数据清洗|数据集成|数据变换|数据归约遗漏值(missing

value)数据预处理数据采集大语言模型应用数据采集

应用遗漏值(missing

value)为数据遗漏、缺失的情况,如某客户的月消费数据缺失。在数据搜集阶段,由于设备故障或人为失误均有可能导致数据的遗漏,应将数据补全。处理遗漏数据最简单直接的方法是直接删去该变量值,但当数据遗漏比例很大时,此方法将造成大量数据流失;第二种方法是使用一个常数或该字段所有数据的平均值统一替换遗漏值,例如用其他用户消费均值替换某客户消费指标的遗漏值,此方法缺点是不具客观性,当数据本身具有类别或等级之分时,容易高估或低估数据;最后还可利用数据挖掘模式来填充遗漏值,使用回归分析、决策树、人工神经网络等数据挖掘推导工具来推测填补遗漏值。第2节

数据预处理一、数据清洗数据清洗|数据集成|数据变换|数据归约噪声(noise)数据预处理数据采集大语言模型应用数据采集

应用噪声(noise)表示数据中的随机误差或干扰项。在数据收集、整理的过程中,会产生大量的噪声数据,即“离群点”。比如在年龄收入曲线中,出现个别远离曲线的极端点。因为噪声数据不在合理的数据域内,所以分析、挖掘过程中输入和输出数据的质量难以保证,容易造成后续的挖掘结果不准确、不可靠。常用的消除噪声数据的方法分为两种。一种是噪声平滑方法(datapolishing),常用分箱法处理,即将预处理数据分布到不同的箱中,通过参考周围实例平滑噪声数据。具体的分箱技术包括:平均值平滑,中位数平滑,按设定的箱边界平滑。另一种是噪声过滤(datafilters),利用聚类方法对离群点进行分析、过滤。第2节

数据预处理一、数据清洗数据清洗|数据集成|数据变换|数据归约异常值(abnormal

value)数据预处理数据采集大语言模型应用数据采集

应用若某一些数据的表现与其他数据差距很大时,这些数据称为异常值(abnormal

value),如数据显示某用户的月消费金额基本在3000~5000元范围内,若账单有一条30000元的记录,即为异常值。异常值可通过经验判断、标准分数(或法则)、箱线图等方法来判断。对于异常值的处理需根据具体情况分析,若该异常值拥有特殊意义,则需保留;若由于仪器工具或人工失误导致,可根据情况考虑直接删除该数据,或用其它数值更替,将数据的范围归一化。第2节

数据预处理数据清洗|数据集成|数据变换|数据归约概念:数据清洗后方可进行数据集成,数据集成是将来自多个数据源的数据合并,统一存放在一个数据库中。由于描述同一个概念的属性在不同数据库可能有不同的名字,在进行数据集成时常会引起数据的不一致和冗余。命名的不一致常常也会导致同一属性值的内容不同。使用数据量太大的数据进行分析不仅会降低数据挖掘速度,也会误导数据挖掘进程。因此进行数据清洗之后,在数据集成中还需要注意消除数据的不一致、重复和冗余。二、数据集成数据预处理数据采集大语言模型应用数据采集

应用第2节

数据预处理二、数据集成数据不一致数据清洗|数据集成|数据变换|数据归约数据预处理数据采集大语言模型应用数据采集

应用数据不一致是指两条及以上数据出现数据的矛盾性或不相容性的情况。由于整合数据后,不同来源的数据属性可能不同,在数据表达、比例定义或编码上也会有所不同,因此产生数值或字段不一致的状况。例如在两个不同的数据表中,用户在线时长分别用小时和分钟两种单位来记录。为使数据保持一致,需要先确定作为标准的字段,然后对另外的字段进行单位的换算或者修改来保持数据一致。第2节

数据预处理二、数据集成数据重复数据清洗|数据集成|数据变换|数据归约数据预处理数据采集大语言模型应用数据采集

应用重复数据是指重复出现的数值或字段。对于重复数据的处理方法也需根据实际情况进行判断:如因数据库信息有重合,在数据整合后发生的数据重复,删除多余记录只保留一条即可;若确实为几条不同的记录,如同一用户对同一规格的产品、下单两次,则两条均需保留。第2节

数据预处理二、数据集成数据冗余数据清洗|数据集成|数据变换|数据归约数据预处理数据采集大语言模型应用数据采集

应用数据冗余是指数据之间的重复,也可以说是同一数据存储在不同数据文件中的现象。属性命名的不一致,也有可能导致集中的冗余数据。数据冗余的处理主要是针对具有相同意义或彼此间存在已知数学关系的字段,也就是此变量的属性或代表的意义可由另一变量推导而得,如数据中含有用户1-12月的“月消费金额”及全年的“年消费金额”,“年消费金额”完全可以由每月消费金额累加得出,即为数据冗余。为使数据更加简洁,可将该字段剔除。若数据冗余因属性命名不一致导致,需经具体判断后处理或保留。第2节

数据预处理数据清洗|数据集成|数据变换|数据归约三、数据变换概念:数据变换是将数据转换成适合于各种数据挖掘模式的形式,以转换原始数据或重新编码的方式提升数据价值,其中可能涉及数据数值与数据类别的转换。例如,将数值型数据转换为离散型的类别数据,根据领域知识将旧变量合并成新的变量,或将数据归一化以避免尺度的差异,常见如人工神经网络对输入数据的归一化。对于数据的数值转换,可采取归一化和标准化方法,归一化(normalization)是将属性数据按比例缩放到一个特定的区间,如[-1,1]或[0,1],标准化(standardization)则是依据数据的均值和标准差进行标准化处理。对于数据的属性转换,可视情况将离散数据转换为连续数据,如将顾客评论中“比较满意”“满意”“非常满意”转化为数值8、9、10,或是将连续数据转换为离散数据,例如按照顾客的价值评分把顾客分为白银贵宾、黄金贵宾、铂金贵宾、钻石贵宾。数据预处理数据采集大语言模型应用数据采集

应用第2节

数据预处理四、数据归约数据清洗|数据集成|数据变换|数据归约概念:数据归约的主要目的是得到与原始数据具有相同信息但较精简的数据集。数据挖掘时数据量往往非常大,数据归约技术通过选择替代的、较少的数据来减少数据量,可以有效缩减数据规模,在尽可能保持数据原貌的前提下最大限度地精简数据量,使得大数据挖掘更精准高效。企业根据现实情况主要进行维度归约和数值归约两方面的处理。数据维度归约常用于分类或预测问题,最直接的方式是以目标变量作为比较基准,利用特征选取法将变量维度中与目标变量不相关的属性删除,或利用主成分分析法将变量作线性转换,只留下提供较多信息的几个主成分,以缩小变量维度。数值归约通过选择替代的、较少的数据来减少数据量,包括有参数方法和无参数方法。参数方法可采用回归模型与对数线性模型来实现,非参数化方法包括直方图、聚类、抽样、数据立方体聚集等方法。数据预处理数据采集大语言模型应用数据采集

应用第3节

利用大语言模型进行数据预处理应用——以DeepSeek为例数据预处理数据采集大语言模型应用数据采集

应用一、DeepSeek简介:DeepSeek是由中国顶尖AI团队深度求索(DeepSeekInc.)自主研发的通用大语言模型体系,其研发始于2023年,致力于突破认知智能的边界,是国内首个全面对标GPT-4技术架构的AI大模型。自然语言理解与生成:精准处理复杂逻辑与专业术语,高效生成高质量文本。强大数据探索:挖掘海量数据隐藏规律,支持科研与商业决策。交互式分析:自然语言对话降低门槛,快速响应数据分析需求。多模态数据分析:融合文本、图像等信息,提供精准行业解决方案。

第3节

利用大语言模型进行数据预处理应用——以DeepSeek为例二、DeepSeek应用数据预处理上传数据文件并提出数据清洗请求在使用DeepSeek进行数据清洗时,首先需要进入其主界面。点击界面上的“文件”选项,选择并上传需要清洗的数据文件。

数据预处理数据采集大语言模型应用数据采集

应用第3节

利用大语言模型进行数据预处理应用——以DeepSeek为例DeepSeek返回处理意见DeepSeek会根据输入的请求,从专业视角分析数据,并提出针对性的解决方案。数据预处理数据采集大语言模型应用数据采集

应用第3节

利用大语言模型进行数据预处理应用——以DeepSeek为例根据清洗建议执行操作DeepSeek会结合上传数据的结构与内容,生成一系列针对性的清洗建议。这些建议通常包括以下常见操作:删除重复数据;补充或处理缺失值;识别并移除异常值;统一数据格式等。数据预处理数据采集大语言模型应用数据采集

应用案例3-1

瑞幸咖啡:用数据做口味从财务造假被唱衰到突破万店的中国咖啡品牌,瑞幸凭借大数据营销及全链条数据驱动下的标准化运营管理实现逆转。这一成功的背后,是瑞幸独有的基于大数据的产品研发方法:瑞幸数据平台设计:瑞幸咖啡的大数据营销核心之一就是数据平台的设计。这个平台应能够智能整合来自不同渠道的数据,以支持数据分析和决策制定,从而实现更卓越的客户管理和个性化营销。瑞幸数据采集:数据采集对于大数据营销至关重要,正如瑞幸咖啡一直在实践的。有效的数据采集可以帮助企业跟踪消费者在各个平台上的行为,无论他们是在哪里购物。这些数据应包括渠道来源、购买历史等信息,为更深入了解消费者、识别新老客户以及为个性化营销提供坚实基础。案例3-1

瑞幸咖啡:用数据做口味数据的质量和完整性:数据的质量对于大数据营销至关重要,特别是像瑞幸咖啡这样注重细节的品牌。包括

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论