数据分析与过程控制

《数据分析与过程控制》--课程总结报告题目：大数据时代如何生产一部电视剧前言：目前，大数据已经逐渐应用在医疗、能源、通信、零售等领域。在电影策划、营销等环节，人们也看到了大数据应用的影子。大数据能记录观众口味，美剧《纸牌屋》就是一个利用大数据成功的典范，一部《纸牌屋》，让全世界的文化产业界都意识到了大数据的力量。《纸牌屋》的出品方兼播放平台Netflix在一季度新增超300万流媒体用户，第一季财报公布后股价狂飙26%，达到每股217美元，较去年8月的低谷价格累计涨幅超三倍。这一切，都源于《纸牌屋》的诞生是从3000万付费用户的数据中总结收视习惯，并根据对用户喜好的精准分析进行创作。《纸牌屋》的数据库包含了3000万用户的收视选择、400万条评论、300万次主题搜索。最终，拍什么、谁来拍、谁来演、怎么播，都由数千万观众的客观喜好统计决定。从受众洞察、受众定位、受众接触到受众转化，每一步都由精准细致高效经济的数据引导，从而实现大众创造的C2B，即由用户需求决定生产。大数据技术的主要功能是对未来事态的预测和对未知事物的预态。但与占卜不同的是，大数据技术使用的方法是通过海量数据的挖掘和发掘某种预后的迹象，而占卜使用的方法是基于原始生化思维的预测和想象。可以很具有现实魔幻主义的说“科学预测”的时代真正已经到来。一、何为大数据？（一）大数据的定义对于"大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。分析师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。（二）大数据的应用大数据是一座富矿，能否开采并利用的关键是如何对数据进行分析应用，即对海量信息进行数据挖掘与数据分析，从中获得有价值的信息并作为决策参考，以取得更好的实践效果。大数据应用初级阶段，主要是采用庞大的数据做简单的逻辑判断。2008年谷歌推出的“谷歌流感趋势”网站，就是通过分析与“流感”相关的搜索请求，对流感的爆发地域与爆发强度进行实时侦测。大数据的另一个重要应用是预测性分析，主要是根据数据特点，分析影响因素，建立科学模型，之后将新的数据代入模型，从而对未来效果进行预测。在影视传媒行业，特别是在电影的策划、评估、营销等环节，大数据将发挥重要作用。中国电影观众主体为25岁左右的年轻人，他们同样是视频用户主体。在优酷指数中，30岁以下年轻受众占比超过80%，与电影主流观影人群相吻合，他们集中于北京、上海、广州、深圳等票房高的城市。通过互联网来获知主流电影观众的喜好，将年轻网民引入电影院，这是一条顺畅有效的路径。二、中国电视剧对大数据的应用可能（一）内容生产方面大数据能够对不断变化的观众需求进行实时、全面和更为精确的分析解读，为生产者在内容策划方面提供决策参考，为电视剧从创作主导转向需求主导提供有力支持。从这个意义上说，大数据带来的不仅是技术的变革，也是思维方式的变革。大数据对电视剧内容生产的帮助主要体现在三个环节：一是拍什么，即电视剧的题材选择；二是谁来拍，即主创阵容组合；三是怎么拍，即内容与情节设计。首先，大数据可以帮助策划选题。目前中国电视剧的类型比较单一，除了战争题材、谍战反特题材之外，最多的就是家庭情感为主的现实题材。这类电视剧除了剧本、表演、制作等所有电视剧不可或缺的元素外，还必须具有话题性。近年引领话题的成功例子有《我的青春谁做主》、《裸婚时代》、《咱们结婚吧》、《老有所依》、《好先生》《余罪》等。如何抓住当下热门的话题，最直接的途径就是通过互联网产生的大数据来分析、提炼。这将大大提高中国电视剧的策划能力和创新能力。第二，大数据可以帮助选择主创。正如奈飞公司Netflix）组合了《纸牌屋》、大卫•芬奇和凯文•史派西一样，国内的数托邦公司也通过大数据发现了陈坤和黄晓明的粉丝和影响有很大不同，同样是时尚帅哥，陈坤的粉丝在西藏和西北省份偏高，而黄晓明在东北、中部省份和台湾更有影响力，粉丝关注的关键词也很不一样，粉丝的文化程度也有差别。这类分析有助于电视剧根据题材、销售地区、目标受众来科学搭建主创班底。第三，大数据可以帮助指导创作。在网络环境下，用户的观看行为，如视频点击、暂停、快进、回放、分享、观看时间和所使用的设备等，都被“记录在案”，当大量用户都在同一个时间点选择快进或回放，这个行为就具有了可分析的价值，使得生产者更了解观众偏好，并以此作为决策依据。上海克顿传媒收录了剧集、播出平台、观众、制作人员的海量信息数据库，并在这些基础上研发出大数据应用平台“影视资源管理系统”，华策影视为此开出了16.52亿元的收购价格。（二）节目评估方面电视剧制作和播出一般以收视率为主要评估指标，以观众满意度调查为重要补充。在实际操作上，由于受到技术条件和调研成本制约，难免出现样本量少、数据单一、缺乏多屏统计、易受人为干扰等问题，一定程度上影响了反馈数据的准确性。大数据技术对海量、非结构化数据进行分析，可以成为现行节目评估体系的重要辅助。大数据能够将文字、图片、视频、网络点击、评论、共享等非结构化数据进行分析，这是了解观众主观态度的新的渠道。2014年初，上海戏剧学院媒介研究中心发布了《2014开年大戏网络大数据评测调查》，采用了有别于传统方式的“网络大数据电视收视调查”。这次调查以数以亿计的网友为样本，对新浪微博、视频网站中的用户评论进行收集，分析影视剧作的传播力、关注度、美誉度等。在电视剧跨屏传播盛行的情况下，此类调研评估有利于生产者更全面地了解收视情况。（三）营销发行方面在营销宣传阶段，大数据技术可以收集目标收视群体的年龄、职业、性别、位置等信息，协助宣传推广人员针对核心受众制定和调整营销策略，并提供更加个性化、智能化的推送方案，扩大市场影响。收视率预测也是一项比较受关注的大数据应用。2013年6月，谷歌发布一篇题为《用谷歌搜索定量化分析电影的魔术》的报告，这份报告表示，通过综合搜索引擎、电影片花搜索量、广告链接点击量等信息，谷歌“在新电影上映之前四周，可以以94%的准确率预估出首周末票房”。［2］在国内，搜狗也研发了“深思”预测系统，已对电影票房进行预测。有数据公司表示，可以为购片方提供点播时间安排、收视率预期等咨询。三、大数据应用面临的问题大数据并非万能，在实际应用过程中面临多重困扰。一是数据真实性问题。网络上充斥着大量水军，他们在宣传期间大量打分、发帖，增加了数据分析的难度；一些不规范的视频网站或影视公司在公布访问、经营数据时掺假注水，也会影响判断结果。二是数据透明度问题。已有多家影视制作公司、电影院线、第三方数据机构建立了自己的数据库，但由于缺少公共平台，难以形成交流共享，也就难以发挥大数据的优势。三是技术局限问题。大数据技术还在发展阶段，现阶段在数据存储、管理、分析方面均不完善，面对每天产生的庞大数据量，目前还难以做到有效分析有效利用。四是媒介平衡问题。目前大数据主要产生于网络，源于网络产生的数据分析必然反映网络受众的喜好，而电视剧还要为广大电视机前的观众服务，如何兼顾前倾和后仰两类观众也很重要。因此，在各行业纷纷惊叹大数据可能带来的技术变革和思维变革的同时，也不断有人呼吁要警惕“大数据泡沫”。工欲善其事，必先利其器。大数据能够为电视剧的生产、评估、发行各个环节提供有力支持，有利于倾听用户需求、理解用户行为，增加电视剧项目的成功率，也有利于促进技术与艺术的融合，推动影视内容生产进一步升级，其在电视行业的应用前景是令人期待的。但目前大数据技术还在探索阶段，“其概念营销的意味远大于实际作用。”[3]数据分析常常是滞后的，较多反映过去的状况。而且，数据分析永远无法替代内容生产，剧作呈现是一个极为复杂的命题，简单叠加题材、剧本、主创阵容等可量化元素还是无法保证成功，只有多种元素发生化学反应才能诞生一部好剧。成功的电视剧作品，主要依靠有功底有诚意的创作团队，既用好数据又用好直觉还要加点运气I、行业案例--爱奇艺（一）方式爱奇艺每天会收集网站上产生的用户行为：包括用户会在哪里暂停、回放、快进等，如果大量观众都在某一个节点做了快进或者回放的动作，爱奇艺就能判断用户喜欢或讨厌的桥段，并以此指导自制剧的生产。此外，爱奇艺还会搜集用户在网站上的收视行为，根据这些行为将用户进行分类和“画像”，并据此进行针对性的广告投放。不过，网络剧的成功与题材本身、剧本以及精良的制作分不开，不能过度夸大数据所产生的影响力。况且在实际操作中，国内视频网站的主要盈利模式还是广告，用户的付费习惯尚未养成，这就意味着很难完全让用户去决定影视剧的演员、导演、剧本。另一厢，大数据的挖掘、建模和分析门槛，依然很高。（二）大数据的两个维度一是大数据的内容如何为用户服务。对用户来讲，我们的终极目标是让用户看到他想看的，而不必从一堆内容挑选他想看的。我们通过对个人的收视习惯的分析，智能推荐他所感兴趣的内容。此外，大数据也在为内容生产提供一些帮助，传统影视在制作的时候，更多关注的是大的题材本身和剧本本身的撰写，包括导演、演员的使用。到了互联网的时代，甚至可以用其中的一个情节或综艺节目的一个桥段来进行分析，用户对该情节的观看量是高还是低，从而得出用户的喜好，来指导更细的一些操作。二是如何服务广告主，即帮助广告客户找到适合的受众人群，或找到他的消费者及他的潜在消费者，甚至帮助客户找到他竞争对手的消费者，并对消费者进行营销。比如，通过和百度的合作，爱奇艺能够获知观看视频的用户过去都在百度上搜索过哪些内容，从而在次基础上进行广告推送。（三）在影视剧或综艺节目的采购的应用在影视剧采购方面，爱奇艺背后有一套大数据的分析流程。通过对以往类似的题材、类似的编剧、类似的导演、类似的演员所演出的剧，在爱奇艺上的播放量，来推测即将采购的电视剧在未来可能产生播放成绩，从而评估这个剧是否值得购买。很多影视剧在发售的时候，其实还没有拍完，甚至一些比较热门的剧还没有开拍，只有一个剧本的时候就开始卖。作为视频网站历史数据能帮很大的忙。（四）用户“画像”在广告推送上，爱奇艺近两年开发了不少产品。举一个简单例子，如果你最近一个月在百度上搜过宝马汽车，当你来到爱奇艺看任何一个内容的时候，我都知道你曾经搜索过宝马汽车，我就可以给你投放宝马的广告，当然也可以投放奔驰的广告。这就是“一搜百映”这个产品的核心价值。今年还开发出了一款叫做“追星族”的产品，众所周知，很多明星都有自己的粉丝群，比如说邓超的粉丝会看邓超相关的广告，也会看邓超的电视剧和电影，甚至可能还会看和邓超相关的综艺节目。当我们捕捉到用户有这样多重收看的行为，我们就会把他定义为邓超的粉丝。紧接着，我们就会向他投放由邓超代言的广告。总体来说，用户的信息分为两大类，一是用户的自然数据，比如性别、年龄、地区等；另一类是他在互联网上的行为数据，包括他的搜索行为、收视行为等。爱奇艺认为用户的行为数据比他的自然数据更加重要。通过大数据分析，给不同的用户打上不同的标签，比如，根据百度的搜索数据，可以给他打上他喜欢不同种类的消费品的标签。比如这个人喜欢汽车，那个人喜欢保健养生，另外一个人喜欢美丽护肤等，这是按照他的兴趣和关注的领域来贴的一种标签，这样的标签可能有几十个，甚至上百个。另一种标签是关于用户喜欢看何种类型的影视剧。有的用户喜欢枪战类的题材，有的用户喜欢美剧，还有用户喜欢爱情片等等。这个系列的标签可能又有几十个。除此之外，还有和用户追星相关的标签，比如这个人喜欢邓超，那个人喜欢孙红雷。这些标签被分为不同的维度，每个维度下都有几十个甚至上百个标签。一些用户同时可以贴五六种标签，也就是说，他其实适合五六种不同类型的广告。（五）精准的广告投放美容日化、食品饮料等大众消费品行业，广告主不会只挑一类用户，而是会挑好几类标签的用户。但如果你是一个高端品牌，或是针对特定人群的产品品牌，比如你是卖服务器的，那么你的受众对象肯定不是普通老百姓。能够有服务器采购需求的，可能也就那么几万人，几十万人。这时，广告主需要把几类标签叠加，找出重合部分的人，这些用户会很有价值。因此，如何投放广告和品牌所处的行业及他的受众范围有着密切关系。（六）局限视频网站所能覆盖的用户行为，相对还是在一个有限的范围内。或者说，视频网站主要覆盖的是用户的休闲时光。那么用户在非休闲娱乐的时候，他在工作中、购物中的时候，他的兴趣爱好、消费习惯，作为一个视频网站是无法获取的。这也是为什么爱奇艺是百度的子公