大数据应用案例分析

大数据运用案例分析目录大数据概念1大数据处置方法2大数据运用案例31大数据概念大数据时代到来随着智能手机的普及，网民参与互联网产品和运用各种手机运用的程度越来越深，用户的行为、位置、甚至身体生理等每一点变化都成为了可被记录和分析的数据，数据量呈现爆炸式增长。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；据IDC研讨机构预测：到2020年，整个世界的数据总量将会增长44倍，到达35.2ZB〔1ZB=10亿TB〕！1PB=2^50字节1EB=2^60字节1ZB=2^70字节GB在2021年，这个数字到达了1.8ZB。TBPBEB ZB01大数据的构成大数据=海量数据〔买卖数据、交互数据〕+针对海量数据处置的处理方案海量买卖数据：企业内部的运营买卖信息主要包括联机买卖数据和联机分析数据，是构造化的、经过关系数据库进展管理和访问的静态、历史数据。经过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、微博、及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、经过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处置：大数据的涌现曾经催生出了设计用于数据密集型处置的架构。例如具有开放源码、在商品硬件群中运转的ApacheHadoop。注：大数据不仅仅指的是数据量庞大，更为重要的是数据类型复杂想驾驭这庞大的数据，我们必须了解大数据的特征。02大数据4V特征03构造化数据、半构造化数据和非构造化数据如今的数据类型早已不是单一的文本方式，网络日志、音频、视频、图片、地理位置信息等，对数据的处置才干提出了更高要求实时获取需求的信息比如：在客户每次阅读页面，每次下订单过程中都会对用户进展实时的引荐，决策曾经变得实时数据量宏大全球在2021年正式进入ZB时代，IDC估计到2020年，全球将总共拥有35ZB的数据量沙里淘金，价值密度低虽然数据量很大，但是价值密度较低，如何经过强大的机器算法更迅速地完成数据价值“提纯〞，是目前大数据亟待处理的难题大数据产品市场价值处理方案转化1.海量〔Volume〕3.速度〔Velocity〕4.价值〔value〕2.多样〔Variety〕2大数据处置方法用户画像体系01每个企业都不可以防止的要对用户进展画像，用户画像的提出，根本上是源于企业对用户认知的需求。产品经理，需求了解用户的特征，对产品进展功能的完善。内容运营人员，需求挑选目的用户，对内容进行精准投放。活泼程度如何？年龄分布、区域分布是什么样的？消费习惯和特征是什么？公司在哪？对什么感兴趣？常去的商圈是哪儿？赢利点在哪？职业是什么？常住地在哪儿？购买才干如何？根本特征？用户画像体系02驾驶行为数据将构建精准的车险用户画像性别年龄国籍地理位置开车地点职业驾照类别开车频率开车缘由健庩情况医疗条件感知力学习周期消费习惯民族特征教育程度婚姻形状共用车辆情况生活方式运用药物情况酒驾阅历疲劳驾驶收入情况碰撞事故车辆维修犯罪记录违章驾驶记录驾驶时间经过对用户不同维度的大数据分析，最终得出可执行的业务决策。根本属性行为习惯购买才干心思特征社交网络兴趌喜好基于机器学习的数据发掘及分类根本识别流程03训练样本数据源分词特征选择特征权重计算模型训练是模型评价能否经过待预测类别文本库文本打上类别标签否训练及测试过程预测过程训练生成的模型训练生成的模型待预测类别文本原始库数据预处置训练样本库数据预处置a.去除营销博文干扰b.去除提及人的干扰〔@〕c.去除如门户的作者的干扰大数据的处理04数据去重空值处置数据去噪格式一致对齐交融交融信息数据库交融信息数据库里程数据工况数据充电数据行驶轨迹车辆信息将空值更改为对应的默许值运用UGC算法去除无用数据运用基于密度的聚类去除异常数据将多源异构数据转换为一致数据表达方式去除异常的数据项会聚多源异构数据中的一致部分数据发掘分类的过程3大数据运用案例大数据是做好音乐平台的一把利器01爽歪的麻雀，在电线杆上裸睡削个椰子皮，他却TM给个梨撒米拉带带，哇嘎哇嘎哎哟想听的歌记不起名字？？？呀马大叔与小舅舅四斤大豆，三根皮带艾薇，莎啦啦，艾瑞噢喔噢喔，手刹多情咱切抱刘继芬钢铁锅，含眼泪喊修瓢锅啊瑞宁瑞宁瑞宁瑞宁瑞宁产品竞争04*听歌进入社交化时代，听歌单、听歌看评论成为流行听歌行为；*个性化引荐已覆盖多数听歌用户，越来越多用户经过个性化引荐发现好音乐；*听歌进入多元化时代，民谣、电音、二次元音乐崛起；*独立音乐人迅速崛起，社交互动助推音乐人涨粉；*90后已成为音乐消费主力人群；*用户付费认识明显提高，付费会员数和数字专辑售卖增长迅猛；*综艺影视对音乐的影响照旧强大，抢手歌曲中7成来源于综艺或影视；*偶像流行乐坚持高热度，欧美歌曲受众提升；*音乐市场正在构建一种新的评价体系，评论数成为歌曲热度重要评价目的；*男歌手受喜欢度高于女歌手，女性歌迷消费群体经济崛起；截至2021年7月呈现2亿音乐用户听歌行为以及2万音乐人活泼行为用户分析05目标用户细分群体用户特征需求音乐消费者

学生年轻，时间宽裕，喜欢新鲜，爱评论爱分享爱展示，有个性1、个性化推荐音乐2、对音乐有评论等互动行为3、分享展示喜欢的音乐白领时间碎片化，有一定压力，会关注娱乐界动态4、迅速找到喜欢的音乐5、推荐潮流音乐6、有明星动态IT从业者压力大，需要更多消遣和心理慰藉

时尚人士热爱音乐和潮流，有个性7、分享自己的口味主要需求〔音乐消费者〕1、播放音乐2、发现音乐〔喜欢的、特别的、潮流的〕3、展现自我，有基于音乐的互动。—目的用户：热爱音乐，对音乐有较高需求的高素质年轻人群。用户分析05—目的用户：热爱音乐，对音乐有较高需求的高素质年轻人群。经过数据可以发现网易云音乐用户群中19-30岁年龄段用户最多，占比到达48%，整体用户群偏年轻化。职业分布：学生和IT从业者占据绝大用户群，企业中高层管理人员所占比例最少，另外的专业任务人员所占比例区别不大，用户群体整体受教育程度普遍较高。05目标用户细分群体用户特征需求音乐内容产生者

音乐人/DJ作品找不到渠道，希望建立个人品牌，更好的运营个人品牌1、传播自己的音乐，让更多的人知道2、与粉丝有互动歌手有一定知名度，有粉丝基础3、进一步提高知名度，吸引更多粉丝唱片公司商业机构，营利是最重要的目的。4、提高收入音乐爱好者喜欢分享音乐，评论音乐5、希望得到更多展示（专栏）主要需求〔音乐内容产生者〕1、宣传音乐〔新歌、特别的口味〕2、宣传个人品牌〔演播厅、采访直播、互动等〕3、盈利〔版权收费、会员收费等〕用户分析—目的用户：〔内容产生者是活泼音乐社区的关键〕用户分析05用户分析0502引荐歌单—3种引荐维度和2种引荐算法经过微信微博等社区软件进展传播分享网易音乐编辑人员人工引荐的歌单和电台。朋友引荐人工引荐经过大数据分析计算后的智能引荐歌单智能引荐以人为本算法以歌为本算法“喜欢这首歌的人，也喜欢XX〞喜欢：点击“喜欢〞、评论、下载、收藏到歌单的人所听歌曲的标签在其它歌曲也包含那么引荐该歌曲02计算公式潜在因子〔LatentFactor〕算法：这种算法是在NetFlix〔没错，就是用大数据捧火<纸牌屋>的那家公司〕的引荐算法竞赛中获奖的算法，最早被运用于电影引荐中。这种算法在实践运用中比如今排名第一的@邰原朗所引见的算法误差〔RMSE〕会小不少，效率更