自然语言处理的现代做法分享

1、揭开机器学习的面纱张浩爱贝叶斯 总经理123贝叶斯概率，一个改变我的世界观的男人议程4中文分词中的算法逻辑词向量是什么机器深度学习很快就像Photoshop一样统计学：在随机中寻找规律性把统计学推向日本的男神：戴明 1900年10月14日出生，天秤座！（我也是哦！） 21岁，获得怀俄明大学学士学位 24岁，获科罗拉多大学硕士学位 27-39岁，在美国农业部任职，担任数学物理学家。 39-46岁，任美国人口统计局调查顾问 50岁，应日本科技联盟邀请，担任日本企业界的讲师及顾问。 51岁，日本最高企业管理大奖：戴明品质奖。 60岁，获日本天皇颁发的二级瑞宝勋章。 60-80岁，空白 80岁，参与电

2、视节目日本能，为何我们不能，一时在美国家喻户晓。美国大都会品管协会设立戴明奖。 81岁-93岁，主持“四日研讨会四日研讨会”，讨论改进管理方法及如何提高生产力。 93岁，与世长辞。日本+统计学+4年 美国本土制造业+数十年 WHY?盲目驾驶：只看后视镜，开车往前走。上帝保佑，前面没有转变。问：如何让企业看到未来？答：制造与行销成为一个系统供应商A供应商B供应商C供应商D原料与设备供应商验收与原料检验流程测试、设备、方法、成本生产、组装、检查渠道销售顾客顾客顾客顾客顾客顾客消费者研究设计与再设计戴明：往往我们的眼界只看到企业内部的流程，而忽略企业外部 这是错误的制造与行销是一个系统。统计学存在于

3、该系统的每个环节！供应商A供应商B供应商C供应商D原料与设备供应商验收与原料检验流程测试、设备、方法、成本生产、组装、检查渠道销售顾客顾客顾客顾客顾客顾客消费者研究设计与再设计1.供应商的选择方法：损失函数2.生产的管理方法：请清变异理论3.消费者研究：利用统计学原则调查连供应商评比使用统计学：损失函数 买最低的整体成本=标价加上平均品质损失。该买B，因为标价相同，而B的平均品质损失为6899C，比A的平均品质12500C低。Q=平均品质损失Q=s平方+M-t平方C，其中，C=常数，S平方为曲线的变异，M为曲线的平均值，t=目标值例如，规格为目标值t=350规格下限=100，上限=600对曲线

4、A，平均值（M)和标准差S分别为，M=250，S=50所以，QA=50平方+（250-350）平方C=12500C对曲线B，平均值（M）和标准差S分别为，M=350，S=83QB=83平方+（350-350）平方C=6889C供应商A品质：平均值250，标准差50供应商B品质：平均值350，标准差83该买A还是该买B呢？规格下限规格上限成本曲线（抛物线）供应商A 供应商B生产管理：管理者必须认清“变异”，也就是“随机性” 对稳定系统的认识和理解 了解什么是特殊原因与一般原因 明确变异是无所不在的：在人与人之间，在生产过程中，在服务中，在客户满意上。 了解稳定系统与不稳定系统的差异性 了解统计数

5、据中的不确定因素这种对于变异的研究，事实上很有必要的。如果不懂变异，每次发现问题时，都急着改变规则，最后只是能使系统过程越来越不稳定。记住，只有稳定的系统过程，才能预测。理解“变异”统计学知识的企业应用 管制图（舒哈特图）平均不良率平均+3个标准差平均-3个标准差成本变异，是特殊原因造成，还是一般原因造成？如果你还不理解变异（随机性），那我们做个练习吧 每一次迟到都有一个特殊原因吗？仔细想想，迟到的原因还真不少呀！从起床到上班地点，原来会有这么多的“随机性”！只要做一个简单的统计，迟到的原因就找到了统计：在“随机性”中找到“规律”那么，你能找到迟到的“规律”吗？言归正传：创新来自哪里？供应商A

6、供应商B供应商C供应商D原料与设备供应商验收与原料检验流程测试、设备、方法、成本生产、组装、检查渠道销售顾客顾客顾客顾客顾客顾客消费者研究设计与再设计戴明：创新从哪里来？电灯不是客户提出来才发明的。没有人主动要求过汽车与电话机。创新并非来自客户，而来自那些对自己负责，追求自我满足的制造者来自那些对自己负责，追求自我满足的制造者。比如，法拉第，他是对自己负责才发现磁力的。在那个年代，有谁要求过磁力吗？中国人口这么多，要一个一个的了解消费者吗？练习：请数一数，下面这个照片里有多少人？一个街道的人数都数不清，那全中国的人口数怎么可能能数的清呢？（刚数完，就挂了或者，又出生了N个BABY）所以，【统计

7、学科】诞生了！正态分布图概率-3s-2s-1s01s2s3s现在，统计学直接带来了经济价值选举质检DNA市场调查趋势预测消费者识别市场调查的经典案例：代号“堪萨斯工程”百事+市场调查=大胜可口可乐+市场调查=惨败案件发生：美国 纽约 1982年故事是这样的：在80年代，百事可乐来势汹汹，它先是推出了“百事新一代”的系列广告，将促销的锋芒直指饮料市场最大的消费群体年轻人。百事可乐公司大胆地对顾客口感试验进行了现场直播，即在不告知参与者在拍广告的情况下，请他们品尝各种没有品牌标志的饮料，然后说出哪一种口感最好。试验过程全部直播，百事可乐公司的这次冒险成功了。132.4可口可乐增速可乐年度增速放缓6

8、14百事可乐市场份额百事可乐抢占市场可口可乐的反击于是，可口可乐秘密进了代号“堪萨斯工程”的市场调查行动。它出动了2000名市场调查员在10个主要城市调查顾客是否接受一种全新的可口可乐。调查结果表明只有10%-12%的顾客对新口味可口可乐表示不安，而且其中一半表示会适应新的可口可乐，这表明顾客们愿意尝试新口味的可口可乐这表明顾客们愿意尝试新口味的可口可乐。为了确保万无一失，可口可乐公司倾资400万美元进行了再一次规模更大的口味测试，13个最大城市的超过19万名顾客参加了测试，55%的品尝者认为新可乐的口味胜过了传统配方的可口可乐，而且在这次口感测试中新可乐再次击败了对手百事可乐。公司最后决定生

9、产“新可乐”、停止传统可口可乐的生产和销售可口可乐惨败 在“新可乐”全面上市的初期，市场的反应相当好，1.5亿人在“新可乐”面世的当天就品尝了它，但很快情况有了变化。在“新可乐”上市后的一个月，可口可乐公司每天接到超过5000个抗议电话，而且更有雪片般飞来的抗议信件。可口可乐公司不得不开辟了83条热线，雇佣了更多的公关人员来处理这些抱怨和批评。有的顾客称可口可乐是美国的象征，有的顾客威胁说将改喝茶水永不再买可口可乐公司的产品。更有忠于传统可口可乐的顾客组成了“美国老可乐饮者”的组织在发动抵制“新可乐”的运动，而且许多人开始寻找已停产的传统可口可乐，这些“老可乐”的价格一涨再涨。面市后两个月，“

10、新可乐”的销量远远低于公司的预期值，不少瓶装商强烈要求改回销售传统可口可乐。7 7月月1l1l日，戈伊朱埃塔率领可口可乐公司的高层管理者站在可口可乐标志下向公众道歉，并日，戈伊朱埃塔率领可口可乐公司的高层管理者站在可口可乐标志下向公众道歉，并宣布立即恢复传统配方的可口可乐的生产。宣布立即恢复传统配方的可口可乐的生产。统计学的“气宗”与“剑宗”之争频数统计学贝叶斯统计学47%47%21%21%32%32% 请问今天下午“下雨”的概率，怎么计算呢？晴天的概率雨天的概率阴天的概率47%47%21%21%32%32%传统统计学的计算方法晴天的概率雨天的概率20.427.49020.430.638.63

11、4.631.645.946.94543.912到2月3-5月6-8月9-11月雨天阴天晴天答案：收集300天的数据，统计平均每个月下雨的频率，再看今天属于哪个月。传统统计学认为：概率是固定值！47%47%21%21%32%32%贝叶斯统计学的计算方法晴天的概率雨天的概率贝叶斯统计学认为：概率是变化的，随着观察而修正你猜一个概率观察相关要素修正概率锐普PPT论坛chinakui首发：做个小测试一所学校里面有60%的男生，40%的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。问题1：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大？问题2：假设你走在校园中，迎面走来一个穿长裤的学生（

12、很不幸的是你高度近似，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别），你能够推断出他（她）是男生的概率是多大吗？做个小测试一所学校里面有60%的男生，40%的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。问题1：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大？问题2：假设你走在校园中，迎面走来一个穿长裤的学生（很不幸的是你高度近似，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别），你能够推断出他（她）是男生的概率是多大吗？男孩子穿长裤60%男孩子穿裙子0%女孩子穿长裤20%女孩子穿裙子20%男孩子穿长裤60%男孩子穿裙子0%女孩子穿长裤20%女孩子穿裙子2

13、0%男孩子穿长裤75%女孩子穿长裤25%答案一答案二锐普PPT论坛chinakui首发：做个小测试一所学校里面有60%的男生，40%的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。P（女生）=40%P（女生|长裤）=25%概率条件概率 13: 您的性别是？19:您的婚姻状况是？22:您的个人月收入（从各种途径得到的全部收入总和，包括零花钱）为？男女单身，无恋爱单身，恋爱中已婚，无孩子已婚，有1名孩子已婚，有2名孩子已婚，有2名以上孩子离婚或丧偶无收入0-1k 1-2k2-3k 3-5k 5-8k8k以上不便透露重度娱乐者重度 39%64%36%28%13%9% 39%8%1%1% 11%8

14、%11%18% 25% 12%8%6%轻度 61%55%45%25%9%7% 46% 11%2%2% 15%8%11%18% 24% 10%5%9%总计 59%41%26%11%8% 43% 10%2%1% 13%8%11%18% 25% 11%6%8% 贝叶斯的应用：你是不是经常去夜店？已知男性：则去夜店重度可能性42%已知条件比较少已知：男，已婚1名孩子，无收入去夜店重度可能性31%已知条件比较多 13: 您的性别是？19:您的婚姻状况是？22:您的个人月收入（从各种途径得到的全部收入总和，包括零花钱）为？男女单身，无恋爱单身，恋爱中已婚，无孩子已婚，有1名孩子已婚，有2名孩子已婚，有2名

15、以上孩子离婚或丧偶无收入0-1k 1-2k2-3k 3-5k 5-8k8k以上不便透露重度娱乐者重度 39%64%36%28%13%9% 39%8%1%1% 11%8%11%18% 25% 12%8%6%轻度 61%55%45%25%9%7% 46% 11%2%2% 15%8%11%18% 24% 10%5%9%总计 59%41%26%11%8% 43% 10%2%1% 13%8%11%18% 25% 11%6%8% 贝叶斯的应用：你是不是经常去夜店？已知女性：则去夜店重度可能性34%已知条件比较少已知：女性，单身，收入 3K去夜店重度可能性39%已知条件比较多可可脂护肤液+大的手提袋+锌、镁

16、营养补充剂你不说，数据会说5包浴巾+防过敏的洗涤剂+加大牛仔裤+含DHA维生素87%96% 贝叶斯公式的深入理解P（事实|观察）=P（观察|事实）*P（事实）P（观察）因果因不可见可见不可见南京市长江大桥南京市/长江大桥 南京/市长/江大桥南京市长江大桥方案1：南京市/长江大桥 方案2：南京/市长/江大桥 P（句子）=P（词1）* P（词2|词1） * P（词3|词2）* P(词n| P词n-1)P(词n| P词n-1)= 每个词基于前一个词的概率 如果P（方案1）P（方案2）那么，选择方案1自然语言处理：词向量典型方法：离散符号（字符串） 该 课程 很 枯燥 ， 大家 觉得 很 无聊 。 w

17、0=该 w1=课程 w2=很 w3=枯燥 w4=， w5=大家 w6=觉得 w7=很 w8=无聊 w9=。 等价表示方法：one-hot表示法 问题来了词语-如果能用如果能用实数向量表示词向量的由来自然语言处理常用的几种网络ThemeGalleryisaDesignDigitalContent&ContentsmalldevelopedbyGuildDesignInc.前馈神经网络卷积神经网络循环神经网络递归神经网络前馈神经网络循环神经网络递归自编码器递归神经网络卷积神经网络词向量表示前馈神经网络前馈神经网络词向量分布 在低维、稠密的实数向量空间中，相似的词聚集在一起，在相同的历史上下

18、文中具有相似的概率分布 ！ 再回到贝叶斯：贝叶斯网络阴天我们看到了草地湿了，那么我想推测此时的天气阴天的概率。但是草地湿了有可能是下雨，也有可能是洒水车经过洒水车下雨草地湿了P（阴天）（阴天）P（晴天）（晴天）0.50.5P(下雨)P(不下雨)阴天0.80.2晴天0.20.8P(洒水)P(不洒水)阴天0.10.9晴天0.50.5洒水下雨P(草地湿了)P(草地干)是是0.990.01是否0.90.1否是0.90.1否否0.01.0贝叶斯网络特点当某一点的证据出现，整个网络中事件的概率都变化。所谓，看到镜中一丝丝白发，就改变你对人生的重大事件的概率的推断。当我们发现自己数学细胞不足时谷歌开放了一套

19、机器深度学习的源代码！Python + Tensorflow （直接干掉壁垒！）如何让计算机识别以下数字每一张图片包含28像素X28像素我们把这个数组展开成一个向量，长度是 28x28 = 784训练中的图像个数训练中的标签结果14行代码-深度学习后预测准确率 99.2%cross_entropy=-tf.reduce_sum(y_*tf.log(y_conv)train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)correct_prediction=tf.equal(tf.argmax(y_conv,1),tf.argm

20、ax(y_,1)accuracy=tf.reduce_mean(tf.cast(correct_prediction,float)sess.run(tf.initialize_all_variables()foriinrange(20000):batch=mnist.train.next_batch(50)ifi%100=0:train_accuracy=accuracy.eval(feed_dict=x:batch0,y_:batch1,keep_prob:1.0)printstep%d,trainingaccuracy%g%(i,train_accuracy)train_step.run(

21、feed_dict=x:batch0,y_:batch1,keep_prob:0.5)printtestaccuracy%g%accuracy.eval(feed_dict=x:mnist.test.images,y_:mnist.test.labels,keep_prob:1.0)机器学习来的如此之快，如此容易，这个世界在10年内会变成什么样？还是从真正研究“未来”的学者那里，寻找线索吧互联网的“未来”有什么，与企业有怎么样的联系互联网时代，【复制】成了轻而易举的事。无论你在做什么，只要发布了，就会有大量的复制，这种复制会越来越无法阻挡，特别在“中国”复制带来了“流动”但是，企业的出路在哪里

22、？答：当复制品免费时，你就要去销售那些无法复制的东西。什么东西是“无法复制”呢即时性个性化解释性可靠性获取性实体化可赞助向导性具体来说消费场景变化快速知道不推销ALL，只推销你的STYLE上万条评语，到底在说什么除了功能，我们还有稳定性租的世界里，不需要拥有引人入胜的观影要身临其境主动为赏识的企业和人打赏看购物指南，往往比自己搜索更有趣空调 的未来是什么？当我们聚精会神的欣赏冰与火之歌的时候，室内的温度忽然变的很冷，就像我们处于冰原之上当我们看着恐怖片时，一股冷风在特定的时刻吹来了汽车 未来是什么？我离开办公室，走向我的汽车。在车里，我还能继续刚才被打断的故事。我的汽车将办公室的资料报告同步打

23、开，并在我开车的时候高声朗读出来。我们在路上经过沿途建筑的时候，这些建筑物认知我的车，于是播放只针对我的广告。我的车还会根据目的地，告诉我哪条路是最不拥堵的最佳路线，并提前预约好了目标餐厅的座位，以及停车位网购 如何更懂TA？爆款推荐搜索相关推荐浏览 智能识别 智能推荐问卷购买智能算法，会给消费者最懂TA的推荐你在读网页，网页也在读你智能推荐算法标签体系的建立当“大数据”遇到了“场景” 那会发生什么？假设，我们有这样一套“场景库系统” 品类 热水器 消费者 25-35岁 搜索场景 泡浴享受提神解乏运动后淋浴给孩子洗浴场景适合产品型号Y适合度：94%痛点库：12条场景适合产品型号Y2适合度：92

24、%痛点库：20条场景适合产品型号Y3适合度：95%痛点库：8条场景适合产品型号Y适合度：91%痛点库：15条因为场景不同，消费者的心理期望是不同的时机时机地点地点诱因影响诱因影响使用方式使用方式收获收获产品评测产品评测夏日夜晚自家浴室保养时刻到了享受泡澡让皮肤水嫩，容量够大，放水很快夏日清晨自家浴室醒意朦胧快速淋浴提神醒脑，唤醒活力，升温要快夏日周末健身馆浴室高强度运动后快速淋浴保持身体的清洁，水流强有力夏日夜晚自家浴室宝宝玩耍后边玩边洗清洁，水温舒服适合度80%适合度适合度 95%适合度适合度 98%适合度85%场景库矩阵表：相同场景在不同消费年龄层上的研究侧重70后后80后后90后后00后

25、后场景矩阵表场景矩阵表P=23%P=28%P=11%P=2%P=8%P=12%P=21%P=18%B=18%B=22%B=5%B=1%年龄场景用途1：渗透率分析 （Penetration，比如年龄段的渗透率，三四线城市的渗透率。P值越大越好）用途2：该场景的使用频率（Frequency, 代表该场景相对其它场景的频率高与低。F值越大越好）用途3：场景进入门槛（Barrier, 测评中重度其它场景的用户是否愿意进入该场景。B值越小，进入难度越大）F=1.5天F=2天F=5天F=7天F=3天F=3天F=1.2天F=1.8天B=3%B=30%B=15%B=2%场景矩阵表：让企业资源投放的更智慧渗透率

26、Penetration 80%-20%原则 发现细分市场频率Frequency 促进轻度转化为重度 培养习惯的力量阻碍Barrier 扩大渗透率 占领细分市场让更多的人进入该场景（增加渗透率），还是提升该场景下的重度使用者比例，还是发现并占领某个细分市场？“场景研究”的产出是什么呢？超近距离观察消费者营销场景创意研发场景创新产品使用痛点是什么？消费者幻想的场景是什么？产品如何摆放？如何使用？场景研究的“六要素”场景研究时机 频率地点 场合角色 族群诱因 驱动步骤 方式收获 期望每天的时间段特殊的日子家里，交通工具上公司的办公桌前，商场，餐馆，电梯是什么导致你有这个需求呢？有哪些触发条件呢？如何

27、使用呢？分为哪几步骤？哪些步骤是重要的，不可缺少？生理收获心理收获什么样的人会出现在这个场景里他们的特征是什么？有没有共性？谁是场景里的主角？谁收益最多？“场景研究”模型：与品类直接关联场景研究时机 频率地点 场合角色 族群诱因 驱动步骤 方式收获 期望品类研究品牌价值产品喜好度痛点库研发创新库营销创意库让我们近距离看一下【产品摆放场景】物 产品摆放的位置 产品的型号境 特定环境下对产品的约束 该环境下与产品的搭配心 决策者的心态 使用者的心态注：图片与标签说明均为消费者在MROC平台上自主完成每一个场景都是有温度的家里的老式浴箱加热器坏了,我又从家电商场买了个电热水器给配套安上了,这样不用买

28、新的浴室,又节省了空间浴箱的花洒也是经历了好几次的更换了,接头的部分经常坏,而且花洒出水口也会赌塞墙上的塑料小筐,本来买来要装筷子的,回家才发现底部没有漏水孔,老公要扔了,我给拿来贴厕所装梳子,发卡,牙膏之类的,谁来了都说不错,变废为宝了,嘿嘿插在塑料筐上的发卡是我最喜欢的一个了,从某宝淘了好几个,米白的,粉红的,宝蓝的,就这个宝蓝的戴着很高档,不俗气适合该场景的产品一定是有原因的主要放置在入户花园，因为通风效果好。是大容量的容积式热水器，品牌是史密斯。比较适合全家同时用水而避免水压不稳定的问题。缺点就是太费气，而且距离卫生间距离较远，要放很久的凉水才能来热水。屋顶有吊顶装有排烟管道和浴霸用的

29、是MOEN的花洒和调温器，还具有按摩洒水的功能，便于冲洗不同的身体部位整个沐浴室不好的地方就在于没有放置台，只能靠窗台作为放置台，放有沐浴露和洗发水等。洗脸台是用的科勒的龙头，感觉有品质感即使最简洁的场景，也有背后的故事暖气-安装了一片大的,暖和.浴缸：占了很大地方,地面只照了一点浴霸-特意买了个2个灯的热水器-用了5.6年了华帝牌的.花洒-热水器自带的不好使,还费水,特意找了个老式的仅仅是看产品摆设场景是不够的产品摆放场景场景步骤分解场景诱因与收获场景特点与期望场景相关品类研究特定品类品牌研究猜一下，在洗浴场景，有哪些步骤呢？p 身体清洁：沐浴露p 身体清洁：搓泡泡p 洗发p 干发p 面部清

30、洁p 皮肤护理p 刷牙12345678洗浴过程能有几步呢？步骤繁多，不仅仅是女士消费者步骤繁多，不仅仅是女士消费者步骤虽然多，但都一样重要吗？身体清洁淋浴洗发护发洗面护肤 你觉得哪些步骤最重要，最值得花费时间久点？ 你觉得哪些步骤不满意还希望改进？ 洗浴环节中，改善到什么程度会让你惊喜特别满足？通过洗浴过程（行为）区分消费者类型，而非年龄、性别不同类型洗浴使用者的画像：男性女性豪华型男性女性不在意男性女性节时型男性女性有重点男性女性大众型水瓶座双鱼座白羊座巨蟹座摩羯座水瓶座白羊座天蝎座处女座狮子座双鱼座狮子座双鱼座射手座天秤座研发创意库：场景为产品研发带来的创意点【热水器】智能多档水温包裹式喷

31、洒水压 按摩花样 冲水自净 自干蒸汽 汗蒸蓝牙 音乐痛点库：水温【热水器】燃气热水器每次关水后再次启动，总需要一段时间加热冬天洗澡的时候，由于卫生间温度太低，需要洗浴一段时间才能让身体彻底的适应热水器水温时间有点短。个人喜欢43-45的水温，但是热水器这个温度保持的不是很好，除非边洗澡边插着电（但是这样总觉得有危险）不满意的地方就是水温调节始终不合理。一般来说清洗身体的水温和清洗头发的水温不一样，龙头左右调节水温很是费力。营销创意库：场景为营销带来的新意亲情的回忆洗浴中的亲情时刻因为以前洗冷水浴的时候，发冷，父亲说叫我唱歌就可以抗寒，持续了30年有多了。所以现在我洗浴的时候，都会唱歌。收货的感受就是帮助自己放松沐浴中我的小习惯就是在沐浴的时候刷牙和洗内衣裤。这真是跟我妈妈学的。一直是这样子的。妈妈说洗澡的时候顺便洗内衣裤，因为是热水，这样内衣裤清洁起来为更干净一些。剃须，跟爸爸学会的，坚持了很多年了，因为洗澡的时候接触热水的时间长，胡子得到了很大的软化，剃须起来舒服多了，而且非常方便，每次剃须完毕都感觉很清爽，人也年轻了很多。营销创意库：场景为营销带来的新意学生时代的印记洗