数据人读书会《AB实验》

2022年7月30日下午8:05|2小时34分钟30秒关键词:显著性、流量、产品、认知、分享、公众号、评估、运营、视角、产品经理、实验平台、指标体系、评价指标、数据分析、用户画像、业务指标、实验评估、整体评价文字记录:凯东老师00:00对吧，我们还去推这个对我们来讲就对我个人。我首先说对我个人来讲，我的价值不太认同这个事情，这是不太好的事。然后同时我们可能会讨论很多很多的问题，那些问题到时候也是有正向负向的，有正向的，就很好可以帮助更多的人，这个是我能想到的。比如说我举例来说，比如这次我们读的是这AB实验这本书，只要AB实验这本书怎么说专业度足够高，且这本书作者是在AB实验领域明显有超级多经验的人，他写了一本我现在就可以用我的视角来说是一个很良性的，那这样就是很好的，我就可以很好去给大家推荐。那大家就对吧，去读去买，这是件很好的事。但是如果比如说我们读一本不太好的书，因为我们不能预习。凯东老师01:49抱歉，抱歉，就刚才那个出去人那边的账号关闭了。那我这重新回来，还是我们再等一下，给大家发一下链接，然后等大家记录好吧。凯东老师02:44好，那个然后已经进来的那个人，大家关注一下我们这个公众号，然后这个公众号就是关注一下我们这个视频号，就是一个数据人的6d大家可以点击左上角看看哪个账号，然后有一个小星星，然后大家加入为什么会加入大家关注了这个之后，下次再有直播的时候你就会收到通知，这个很重要。对，然后这本书是刘玉硕，不想办法。对，是的，是刘玉凤老师的那本是这样，大家可以看一下。就这个那个我们的这个主账号的那个封面已经是这样。然后我给大家看一下这个实体的书是的。凯东老师03:35我们不太能预先知道一本书到底是好还是不好。那我们希望一本书可以比较客观地展现到我们所有的这些读者面前，这个是我们希望的一个态度。那在这个读书会，我们是不是只读，然后用户画像相关的书可能不会，我们是不是不用，就是数据分析师的书也不会。那我们读的是什么呢？我们是读数据相关的书，这个是我们读书会大的范围，也是说我们接下来相关的所有的书籍都一定跟数据或多或少有一定的关系，有一些看似是纯数据的书，那这个可能我们觉得很匹配，有的是产品的书我们觉得可能也会明白。凯东老师04:24有的时候其实我们会读一些运营的书，大家会觉得说那运营跟我们有什么关系？其实大家做得越往后，就如果你做得跟业务越贴近，发现实际上运营了很多，它会数据产也会对数据分析的帮助有很大，因为她们已经沉淀了非常多的这种运营的模型，一些的习惯、运营的思路。而这些思路对我们整体的产品的优化以及我们产品的设计，包括我们后面去分析建立一些指标体系都有极大的帮助。它会改变我们很多人对于一些数据基础的一些思考。凯东老师05:05我们在数据人最爱做的一件事情是什么？以我们的数据的视角去做很多事情，建立起一套看似结构极其清晰，然后产出无用看似很漂亮，结构化也很清晰的这样一套系统。然后推给业务。你如果不用运营人的视角去看的时候，你可能会觉得自己做得太好了，非常好。我给你做了一个很好的功能，但是运营人的视角会发现说你给我的东西可能第一我都知道了，你给我也没有用，我还为你负担成本。那另外一部分会觉得说你这给我这些东西都不是我想要的。还有的时候说我其实很简单，在某个系统就能看到一些事情，那你这个系统我用起来还变得更复杂了，也许你说功能更多，那这些其实是都是在我们做的过程中就数据的。其实很多时候是说从后面的研发到数据到产品到运营，都是我们的数据人，而不是比如说我就是一个做数据分析的，我才是数据人，是这样。凯东老师06:08所以我先界定一下就我们这次读书会的大致的这样一个读书的范围，包括可能我们会读一些管理的书，为什么呢？比如说OKR这就是我只说可能，因为我们这一期一共只能选10本书。然后我们跟正常来讲，我们最多可能只跟两个出版社合作，所以我们的书尽量在互联网的数据领域里面比较大的出版社去合作，那它会我们也会尽量读一些新的书，有可能选一部分经典，但大部分是新的书给大家来组件来读，是这样。所以整个这个读书的范围要说比如像OKR如果有合适的，我们可能也会跟大家来讲，因为OKR对我们整体的工作帮助也会非常大，同时可能还会有一些相应的思维建设的书，那这也有可能会读。但是总体的目标我客观来讲，我还是希望说我们能对你看搞一个书单这个公众号发布一下。这个其实我们是想搞的，但是由于是第一期时间其实很紧，这件事是对我们来说我们其实做得不够好，第一期准备得没有那么充分。但是我最近正好我们拉的这几个人，就是说读书最近的时间是相对还OK的，那正好我们就能快速跟大家先读起来，先把一个读书会建立起来。那这样我们每多读一本书都是对更多人的帮助。那即使我们准备的不充分，我们也先开始是这样，这是我们的一个初衷，还有我说读书的大致的范围。凯东老师07:38然后我觉得这个读书会很重要的是什么？是说不只是我就可能还会有别人大家一起来读，就是我们相当于是领读人，然后大家是跟读人，但是我们这个不一样的是什么？不一样的时候，我们不太会像逻辑思维，你像逻辑思维那样，他会把一本书他大部分拿的都是科普的书，然后他给你讲在科普书里面一些新奇的观点，然后给大家做推荐。这个不是我们想要的。我们想要的是说在这个读书会中，一我们应该怎么读书，我们希望把这个观点传播出去。凯东老师08:10第二个是我们读了一本书，这本书可以留下些什么？然后第三是我们怎么去读一本书。然后第四是说当我们读了一本书之后，我们怎么去评价才是相对客观的。这个是我们更希望说在这个读书会中能跟大家分享的。如果还可以的话，因为我们其实读一本书，我们新读有的时候理解是不到位的。那我也希望说在这个过程中，第一我可以跟大家产生互动，如果谁愿意连麦，都可以申请连麦去发表一些观点。如果你愿意的话，首先我觉得你先打字说一下你的想要做的事情，然后你再连麦这样主持人可以把你拉上来，大家可以一起讨论，这是第一个事情。然后第二个事情是说我们也可以请作者过来。如果一些书真的是好，我们提前已经读了，发现它真的好，且他可能产生很多的讨论，我们会把作者拉过来。然后作者给您的回答可能就会更专业。比如你像刚才AB这件事情来讲，AB实验其实我也用过。然后这本书我也刚读完，但是里面有很多的一些细节，你可能问我的时候我也不一定能给你很好地解答，因为毕竟每个人都有他自己专业的地方对不对？好？那这些都读完了，我们今天就是来开始一个，就是我们这个读书，因为都是回到这个课题是这样。凯东老师09:33那我先说一下，就是今天读的书本身是这个AD实验，然后科学归因与增长的利器。大家也可以看一下左侧主持人的这个情况。然后在这一次的直播过程中，然后我们会抽这个三三本书，然后送给大家。然后我们抽的书是什么呢？我这也提前说一下，因为我们现在是定了一期和第二期读书内容，第一期是AB实验，然后第二期的是这本书叫超级用户，就这样这是我们要读的第二本书。好，然后在这直播过程中，我们是，接下来很快就会给大家先抽一下，抽一下我们的中奖的。然后所有的人想参与我们这次的抽奖，就必须关注一下上面的一个数自己的自助地的这个公众号。然后大家如果关注了才可以有抽奖的身份，这是第一件事情。第二件事情说尤其读书会持续半下图。然后第一期我们首先先读10本书，然后未来可能还要足更多。那具体足多少就看大家的参与度，以及我们做这件事情，看看是否能真正给大家带来一些帮助。这个是我们能办多久，最终的一个评价标准是这样。凯东老师10:45然后这个我们如果在这个过程中就是如果我们已经建了一个群，是这个读书会的这个群，但是那读书会的群大家知道超过200人就不能加了，所以也有一些人是通过直播的这个通知过来的，之前没加入那个群。我们现在还有一种加群的方式是什么？是我们去关注一个数据人自留地的这个公众号，然后关注公众号之后在你的聊天栏去回复说读书会，这样就可以弹出这个群的提示大家可以加群了，这是一个我们目前加群的方法。好，我们今天就开始说这本书，首先我先整体评价一下这本书，就是AB实验这个科学归位增长的利器。这本书这本书是一个非常非常良心的书。这个我们为什么会评价一本书比如是否良心，就大家关注一下，这个抽奖已经开始了，大家一定要关注公众号，然后团抽奖，这样就可以拿到我们下一期要读的书是这样，然后我继续说继续回来。凯东老师11:52我们说这本书就读书，其实会有三个阶段，就是我给别人来说，有三个阶段，就是我们要写看一本书之后想评价这本书，我们应该有三个阶段。第一个阶段是什么呢？第一个阶段就是我只能写出我学到了什么，这个是第一阶段，这个阶段其实是成长最好的阶段，为什么呢？因为你看到的就是学到的。凯东老师12:16那第二个阶段是什么？第二个阶段是你有主观能评价这本书的能力。什么叫主观评价这本书呢？也就说基于你自己的认知，你能评价哪些内容，对你有用，哪些东西对你没用，然后你且能读出来说这些它的优质的点在哪？那他不好的点在哪？你个人觉得那第三个阶段什么呢？第三个阶段就读书，你是能比较客观的，能存在一本书，这件事情的标准非常非常高。为什么把它定义成第三阶段呢？且我认为它很难。凯东老师12:51首先你想做成一个客观的人就很难，它会受限于很多很多的维度。比如说你对这个领域的认知程度对吧？还有就是你去看一件事情的时候，你会有一个惯性思维的界面，你如何阻挡自己的惯性思维，不去以自己的视角去评价，所以他很难。那我其实已经在知乎大家可以去看我的知乎我知乎叫李凯东，因为我的名字就是我在全网都是摄影的，大家可以去看一下这个知乎里面。知乎里面其实我已经评价了一些书，那我自认为是相对客观的。所以这个问题啦就是每一个人就算你到了客观的一个阶段，你也不代表你百分百客观，因为每个人评价表还是不一样，所以你只能做到尽量的客观。那我去做尽量客观是什么呢？就是我会以不同视角去看这本书。比如说我曾经请假一本书，我说这本书就很差。那他很差的原因是什么呢？我就会写我评价那个就是评价出他很差的视角。所以我并不会说他差本身一个词，那我会说它为什么差，以什么样的视角去看比较差？比如说我到曾经看本书，我觉得评价比较差。我说我实际例子，我就说如果你这本书给新人看，他完全看不懂。如果你这本书给一个有经验的人看，你说的又都是废话，所以你不能客观去看这本书的时候，你就不能这么评价如果你能客观去读出来，你可以比较好这样评价。凯东老师14:26然后本书我为什么说一本书其实是好坏？首先你应该读什么呢？首先你要是读它的目录，看它有什么东西，这个东西前提是它来告诉你是否有用。这是一个判断标准，如果这个数本来就跟你一点用都没有，你就不用读了。对不对？你比如说我是一个做这个数据的人，那我可能去看一本这个用公用的书，除非我有个业余爱好，否则其实它对我意义不太大。对不对？这是大家很能理解的。凯东老师14:58那第二个，当你觉得一个目录，就这本书我觉得它有用来之后，我来评价他是否好还是否坏。我想说一本好的书，相对好的书你其实什么？应该看它的前沿或叫序，因为这个每个地方的不太一样。比如这本书它叫前沿，来看到就翻开叫前沿。然后这本书如果大家没有实体书的话，大家可以打开那个微信读书里面去搜索AB实验科学归A增长的利器里面也是有的，大家可以去看一下。凯东老师15:29好吧。然后那个主持人我们也可以把我们的那个购物车点加一下，就是大家也可以去买一下。因为我说了。整体评价是这本书是一分分异常非常良心的事。然后我继续争说我哪有用，我去读什么，这件事情其实是不好的，因为你可能读了之后也会评价它不好对吧？那你读它为什么的时候我说要读前言呢？有的时候或者叫序一本好就一本书。如果它的前言和曲写得比较好的话，它必须包含一个事情就是什么呢？要包含它读者面，就是这本书面对的对象，这本书到底面向什么样的对象，这个很重要。也就说比如说我写本书我是写得非常非常专业的，那可能我写的时候从业三到五年就是三年以上对吧，我就可能这么写了。那如果我写本书是科普性的书，那我可能就写的是入门的初学者。举例来说，我跟朋友其实写了一本书，叫兄弟产品实战进阶，数据产品经理实看进去。这是我和朋友们写本书，其实我们在这本书的区域就写得很明确，就是我们写这本书是给谁来写呢？我们是给一到三年工作还没有完全形成自己工作方法论的，咨询产品经理写的数据产品怎么写的，对他来讲是一个科普，所以我们是一个入门级的产品经理的书，数据产品经理的书。那我其实书写出之后我其实还蛮关注的，说我们写东西到底怎么样，我就会去豆瓣，去其他地方去看。凯东老师17:10然后我就看说有些人对我们的评价是什么呢？比如他的就有些评价我觉得就很客观很有道理。就说你拼凑十几个人的书对吧，十几个人一起去写，你会发现行文风格都不一样，前后逻辑提醒，那这就是非常客观的评价，我觉得非常好，但有些人就会评价什么，你会评价说书里面讲的东西都比较浅显，在我看来都是一堆垃圾。那我觉得这就不是一个很客观的。因为其实想读一本书读目录，你看他对你有没有用。凯东老师17:46第二，你先读他的序，你看他面向的到底是谁，你要以视他面向的一个视角去评价转思，你才能做到相对客观，是这样，那才是一个好的评价。好，那我们继续看。你看这本书它写的是它会面向几个角色去写，大家可以把这个书看到有前沿的部分。然后大家可以看这个序号两分七这一页，它这里面有非常好这本书我为什么说非常了解它？上来你看大家可以看一下我给大家。他把每一个角色对应要读哪一张都标出来。比如说决策者他正常写的是什么？他说的决写的就是一二八九十十一十二十三十四十五，然后十七十八十九他就写说你就适合读这些章，其他的章就可以不用写了就不用读了，这就非常好。所以说你先把自己的角色先定位了，然后你看你怎么读书，大家也可以去看我的知乎、我的历史。凯东老师18:45你写的一些书，我其中有个很重要的一个环节就是说什么呢？我先告诉你是什么样的一个角色，然后我给你推荐你这本书应该以什么样的顺序，然后读哪一集章。这是我每读一次书的时候，我其实都会读目标人群的视角去帮他给新的推荐，是这样。然后你怎样读可能会体验更好，因为有些书就整理得非常好，他从前往后，你读起来就像读小说一样，就读得非常顺。但有些书就是你读起你会发现它的前后其实会有这种前后倒置的情况，而且还有就是它的组织不够完善，会有一些就是有些内容在后面讲了，其实是对前面的一个科普，那你还不如把科普的往前放，让一个人有一定的认知。后面这讲专业的知识。就这种书怎么说，很考验一个出版社的这个编辑以及作者双重的能力。当然你作者能力肯定是最优先的，其实考验的是双重的能力。比如说我跟朋友我们在出租的时候就是出版社很专业，就是华章那个出版社跟我们来聊，给我们一些建议，说你这书应该怎么去划分更好？那个顺序应该怎么调整可能是更好的，然后我们就会进入深入的功能。凯东老师20:04那这本书大家注意，也是这个华章出版社的，他的那个大出版社大家可以看一下，是机械工业，然后在互联网领域的那个他们的分社就叫华章，华章科技。就这样这本书把这个每个角色都弄了，这是读书的第二步，就是你要去读书，你去看一下你是什么样的角色，然后你按照书里的指引去读书，要读那些你读不了的书是这样。我举例这里面书比如说这里面会有一个什么呢？你看他决策者，他是把这个34567章都会取消掉。为什么呢？是因为在34567章里面有大量的统计学知识，有大量的公式。而这些公式对于决策者来讲其实根本不需要。那如果一个决策者你上来读书，你就按顺序读。比如说读到第一章第二章的时候还觉得还可以理解到第三章的时候你发现各种公式可能就把你劝退了对吗？这个很大的概率就把你劝退了。凯东老师21:10而这里面实际上大家可以看它一共有四种角色角色，第一是决策者，第二是产品经理和运营人员，第三种决策是数据工作者。第四四总结是研发人员。第三第四第三章只有数据工作者看，其他人都复盘是这样。那如果你是其他三种角色，你买了一本书，你从头到尾去读，大概率就劝退你了。太好了。那个我们有一个中奖者，一个读者已经中奖了，非常非常好，大家已经拿到了第二期我们要读的书，所以恭喜这位同学这么多同学。好，然后我们接下来讲说，当你把这本书看完的时候，那你还看什么？其实我推荐你们看完前，就前面的前言过去之后，你们最好看一下这本书有没有后继。当然这本书是没有的，就是你们要再看一下那个后继有没有。凯东老师22:07如果这本书有后继，我推荐你们看一下后记是看什么呢？后记看这本书的时候是他会讲这本书他们还有哪些不足的地方，这个就非常好，就是后继很多时候是不足以及展望。这个事情就是在于说当你读一本书的时候，你会发现你的一些评价在后期中作者已经写出来了。比如说你像我们当时写第一本书的时候，我就写了后记，我们会讲说这是一本入门的书籍，但是它其实有很多的案，很多还停留在概念程度，那就没有什么，就没有很多的实际的案例是这本书缺欠缺的部分。凯东老师22:48我们就说，我们会在未来第二本书里面把更多的案例给大家讲出来，就以案例为主。那这个时候你像比如我还去看逗号的视频，他会讲概念为止，就没有什么实掏的东西。这个怎么说呢？我是觉得那又不是一个特别客观的评价是这样。但是他可以这样说，我觉得也没毛病，因为他确实没有。但是我觉得你可以去理解一本书，他作者真正的想的办法到底是什么。然后想问这也有人说怎么抽奖，有证书吗？好，我们不据说，就这次一共整个直播过程中会抽3轮的这个书。凯东老师23:26如果比如说我们讲到一部分就是发现忘记抽，那我们就把两本合在一起，不管怎么样会送出三本书，送的书是什么呢？我给大家继续看一眼，送的是我们这个超级用户会从这本书，它是从一种视角去告诉我们怎么去运营公司，怎么去理解一些事情，这个事情是这样的。那我们说一下，如你如何才能抽中这本书呢？你首先要先攻就关注我们的视频号，只有关注了我们的视频号才能参与抽奖。然后他更重要的是啥？我想跟大家说，就其实抽奖这个东西就是给大家一个乐我觉得读书会的意义不在于抽奖，就是抽奖的意义很小。当然他可以给一些我们下一期继续读书的这个同学能带来一些福利。但我觉得更多的是说你关注了现在数据的这个公众号，未来每一期的读书会你都可以收到通知。那我们每次读的书你都可以学习到一些东西，这个很好，是我们真正想要的。然后在这个读书的过程中你可以收获什么呢？你可以收获我做我或者其他领读人。对你这本书的分享，你还可以获得一个社群，这个社群里面这些人大家都是喜欢读书的人。凯东老师24:42然后我们这个读书的过程就是首先我说了我们要教大家如何读书，然后怎么去客观地评价一本书。然后还有就是这本书本身你学到什么，还有就是我们还会进行答疑，是这样，就是今天我们已经一些在群里面收集到了一些这个我们读书的这个过程中些疑问，那我也会把这些东西给大家讲解，然后如何加群。好非常好的问题。加群就是大家关注一个数据人的自留地，就点一下右上那个左上角，然后关注关注这个数据能自留定义，然后关注他以后回复读书会这三个字，读书会三个字就会弹出来相应的这个加群流程，大家根据流程知识进行加群就可以了。好，那我们今天读这本书，我就说这本书已经刚才讲完了，就是读书应该先怎么读，先读它又没有用，不过目录。第二，通过前言发现自己是什么样的一个角色。根据作者推荐的读书的内容，你进行读书，不要因为某些章节对你不适合，就对你进行了劝退，或者你因为某些章节的不适合，就对书给出不好的评价，这个是不好的。最后看一下后期看一看书的作者如何看待自己这本书，你会发现他会有一些补充，还有一些自我的评价，以及对未来他们的一些看法是这样。不是。我们这本书叫数据产品经理实战进阶。对，大家可以上京东搜我的名字，然后搜我名字加个书字空格加书，这样就搜出来是我们一起写的这本书。当然今天不是主要推进这本书，主要推荐的是这个AB实验，大家可以看下面的购物车，如果你的工作中会用到AB实验，或者你配合到团队中，会有团队使用AB实验，你可以买这本书，你可以比较好的认知说一我如何去做。另外就做出了AB实验，我如何认定它是有效的。凯东老师26:43第三就是这个东西有效，我们是否可以把它放量？那这些词就是比较重要的一些词，就如何放量，然后放量之后我们如何再评估自己的价值是这样好。然后怎么说，因为今天读书会的第一次，我更希望我们是有比较这个读书会是一个很好的互动的过程。如果大家有任何书中的问题，就直接在公屏上来问出来。如果大家对AD实验很熟悉，因为我们读这本书可能在我们的读者里面就有特别专业了，就像读这个作者一样专业的人，那我也是欢迎你申请连麦。就申请连麦之后，你给大家分享一些内容，这个都是非常非常欢的。因为这个读书会不是我一个人读书会是所有人读书会只是我作为一个愿意坚持的人，那我来跟大家一起来读。是这样。然后这里面再说这本书大概有300多页，340多页。我记得是我拿330多页，333页，然后拿到它时候就一周的时间，所以用一周来读可能压力会非常大。我其实确实用大量的时间去读这本书。然后读书会还有一个福利，我这里面也说一下，读书会的福利是说，如果你在读书会的跟读过程中。凯东老师27:58你写了一篇对这本书的读书笔记，且这本读书笔记被我们接受了，会觉得它是一个有质量，就是你不是只是再抄一些句子，你就放在那儿，是一个你的心得相关的读书笔记，我们也会赠送下一期的我们要读的书。明白吗？这个是非常非常好的一个，这个是比读书文真正好的福利。为什么？是因为一个书你读完了记住了才是好。如果一本书读完了，你当小说就过去了，其实这本书对你的价值除了浪费了你的时间，没有别的价值。真的。凯东老师28:33那好了，我们今天来讲这个AB实验这本书，AB实验这本书我们这个需要你了解和知道的是什么呢？首先我觉得就是很多人可能不太知道AD实验是什么，AD实验是一个说当我们希望去做选择的时候，我们选A还是选B好的时候，我们可以做AB实验。所以你看选A还是选B然后AB实验它那个名字其实就应对了它的作用。凯东老师29:02那什么叫选I选B呢？我举个很具体的例子，比如说我们想看到一个网页，看到网页我们就看到顶图对吧。我们现在看很多的网页都会有顶部的这个滚动的这种轮播图。举例来说，我们可以打开任何一种App，比如说我们打了我看看我的手，因为我现在手机在直播。那我好我打开一个这个。凯东老师29:38好，比如我们看我是手机拿一个App就是我们发现所有App里面都有这个顶图对吧？那好，这个问题就完了，比如这顶图我们用多大的比较好呢？如果我们进App比如说我是占1/3挺好还是占1/2挺好？我们有这样一个想法的时候，然后我们就想，那我们如何能判断出到底是1/2挺好还是1/3挺好呢？那怎么办？我们可以做两个版本，你说那不能让一个用户同时看到两个版本。好，大家非常好。这就是AB实验。首先大家面临一个问题，就说当我出现了两个版本的时候，我让大家有一个想我有一个角色，那这个时候我让谁看见他怎么看见？这就是AB实验。凯东老师30:25首先你要面临的一个问题就是说你要让不同的用户看到不同的版本。也就是说如果我App有两个人来试看的时候，我让甲看到A版本，用让乙看到B版本对吧？这个时候如果说你看甲看到这个图的时候，他就更爱点，你看到的时候不爱点。那这个时候我们怎么办？我们就会发现说A可能会比个B更好，但是你又会质疑我，你说你只有一个人点了一个人没点对吧？那我如何保证？你不是因为这个人今天不小心就点中了一下，那个人今天打开之后对吧？我就忘记了，我就没点对不对？还有就是你顶部的这个图片是不是还可能不一样呢？就是这就引发出刚才我说的两个问题。凯东老师31:20第一个问题是如果你想对比，那你首先做第一件事情，就像我说你一定要让不同的人看见，但不同的人的数量要足够多，所以我们就会引入一个词，就是一个概念，在这个AB实验里面，我说了，大家如果有实体书可以看实体书。如果没有实体书，大家现在就可以打开微信读书，微信读书里面是有这本书的，你在微信读书里面去搜索AB实验，就可以搜到这本书。那在这一本书里面，刚才我说这个甲乙这种人，就是我让不同的人看到不同的书，这个不同的人，这个人在我们这本书里面，它对应的就是第四章写的叫实验单，参与单元是这样。凯东老师32:08一般来讲，那它里面这本书，就是因为我们这本书不是我们读书会不是把这本书每逐页跟大家去读，这个时间根本来不及。因为这本书正常我们是应该有脸两周的时间去读。但是现在我们其实是一周时间就把它读完了，时间很紧。那我们用大概一到两个小时的直播时间，其实不能把这本书整句的把大家给大家讲完。那我又会用什么呢？我会用说当我读这本书，我这个领域的时候，我尽量以一个场景化的方式，咱们大家讲说它是什么，怎么来做。比如这AB实验，我就像我刚才我会尽量引导大家如何去面对一个AB实验，对吧？你什么时候开始用它？那你用它之后，你这本书你可以去哪个去扩展去读？那我们刚才说说，首先你要参与的单元，然后你要对那个用户进行分流，这个刚才已经有人打出来叫用户分流非常好。用户分流在我们这本书的第五章，大家可以去看用户分流的部分。那这个很重要的是什么？就是你要把用户分成就刚才说A组和B组对吧，我们说甲乙如果只有两个人，人太少了，让变多，好他们一定要很多才行。凯东老师33:18这个很多怎么来？就问题来了，其实用户分流是有一个判断标准，就是如何判断最小实验参与人数这件事情很重要。当然我刚才说的其实不应该用人数，因为有时候参与实验，我们分不是拿人分的，但最常用的办法是拿人来分，也说你会去计算最小实验。那这个的最小实验工具我们稍后会发到这个读书群里面，其实这是有一个工具的，你直接计算就行了，它会有一个很科学的计算方式，那这个科学的计算方式其实你不需要低的。就对绝大部分人来讲，你说我必须把所有的计算都计算很好，其实不用了，因为很多的工具它是你只是使用者，对于你使用者来讲，你知道它的最小计算就它如何能对你的使用产生帮助就行了。凯东老师34:10那我们直播之后，我们会把这个工具分享到群里面，那个是有专门的工具直接计算，说你如果想做一次实验，你在多少知悉你的录的情况下，那他最少需要多少人？是这样，这个是非常非常好的一个工具，到时候非常框架。但是这本书对应的就像我说的是第五章你如何去做相应的分流。那我们在分流里面注意就保证一件事保证几件事情是很重要的。在这个分流的过程中，这本书里面其实都讲到了一个很重要的事情，是你要保证你分流的人群和你的整体人群没有太大的差异。凯东老师34:49什么概念呢？就我们比较简单的办法是什么？就是我们一般做分流比较简单办法是吗？比如我们大家都用这个微信对不对？大家都用微信好。那如果有一天我想测试这个微信体重图是放一个月球，白月球就亮的月球好还是放一个暗的月球好？比如我们想做这么一个实验，那这个时候我一个比较好的办法，就现在因为现在他已经有一个这个我就举例子举得可能不太好了。凯东老师35:16我们再举例来说，我如果放一个星改成一个星空但是我这个星空是说亮一点星空好还是暗一点的星空好？这个时候我会产生两个版本，我是觉得说我是不是要把这个两个版本做一个选择。启动图的时候我可以做的是什么？我首先先抽取1%的用户用量的启动图，又选择百分之的用户做暗的启动图。这个时候我让两拨人去看看哪一个用户会更喜欢对吧？就是那你说这个时候我怎么会更喜欢？因为你启动图对不对？那大家都会看，你我看不看都得看，反正我也得用对不对？凯东老师36:00那我们其实可以参考评，我们就会去评估别的一些指标，比如说我用哪个指标来评价它好和坏，要定级指标。但是我们目前先不管它，我们先说分流那部分，这就是一个后续我们继续讨论的问题。我们还用这个分流的概念来。比如说那我看到两张图，用1%的流量和百分之流量。你会说了，1%的流量够吗？刚才已经回答这问题是什么？我们一会会分享一个工具，因为其实微信的流量足够大，大到它1%的流量用户数也足够多。这个时候当一个用户就当一个数量足够大的时候，他的行为一般会符合叫正态分布。那我们说什么叫正态分布呢？就是符合这样一个东西。然后你说对不起，我还是不懂正态分布是什么。好，你可以不用懂你就知道说好也必须符合正态分布才可以用。凯东老师36:51然后你说正态分布我也不懂，我就你能不能用，你就认为说流量要大到一定程度就可以用了，你也不用管静态分布的概念是什么，所以就是用户量大到一定程度就可以用好，eo与微信足够大，所以1%流量就可以。我们来举这个例子，那你说我的网站流量也不行，也不大。比如我有个App我流量也不大，那我是多少呢？又回来了，我们刚才那工序是计算多人，那这是第一个。第二个事情是说我们还要跟总用户量比较一致，我觉得这个东西就不太一样。那我这个东西怎么来判断一样不一样呢？那我继续来举例子，就刚才我说这一个比较亮的星空和一个比较暗的星空，如果我去分用户的时候，我不小心把暗的星空分配给了夜晚的人，我把亮的星空分配了白天和晚上的人。那这个时候你会发现量的星空分布是正常，就跟大盘的用户基本差不多。但是暗的用户我只分给了晚上看微信的人。凯东老师38:00最后你会发现暗的星空更被用户喜欢。为什么呢？举例来说，我们这个就是看网络上的，大家投票就是抽用户抽样投票。比如我们用这样的玩法，所有打开量暗或量的人都会选择说他到底好还不好？那你发这样问卷出去，最后问卷回收。你会发现在夜晚打开暗的星空的人对暗星空的投票赞成度都非常非常的什么，非常非常的认同。但是比如说亮的星空的很多人在夜晚读书的人就认他，夜晚打开微信的人就会说他不好地方刺眼睛，受到负面评价就很多对吧。但是微信本身而言是什么呢？它本身就是白天和夜晚读书的人都有了。凯东老师38:48那所以我们从分用户来讲，如果你这种AB测试你看，那这个对AB测试有什么意义呢？你说的太对了，这个就是然后不不，你就是回答上个问题，那我们继续我先把我的问题说完，比如说对一个用户的拆分的时候，你必须让他符合正常的用户，否则他会带来的问题什么？就刚才我说他其实就已经产生认知偏差了，因为你把给亮喜欢亮的人和把暗的喜欢给亮的人里面，你得出的结论是完全相反的。凯东老师39:20对吧，喜欢亮的人自然会觉得亮得好，喜欢暗的人真会觉得暗的好。那你在A组给的是暗示亮，暗的人都给他们亮了，然后在B组把暗的人只暗的图只发送给喜欢暗色的人。那这个时候你对比就无效了，是这样明白吗？然后刚才说这个中心底线定义，就是这个概念就是符合中台分布，对AB测试有什么意义呢？是因为是这样的，我们会说这就是引入一个错误概率的事，我还是不打断，我还是不打断，我还是按照我刚才说正常大家认知AD去讲，讲完之后我们再回头来讨论所有的问题给大家来讲。好。那就是刚才我讲的问题说如果你想做用户AB实验，你必须保证A组的用户和B组的用户他俩要保持一致，且他们还要跟你未来要所有人都要接受的这个样本保持一致。所以会有两个一致，首先AB用户要一致。凯东老师40:22第二，AB用户和你未来将全量采用的用户要保持习惯一致，是这样。那这就是这本书说的。所以在这里面就会有一个如果我们看这个AB实验的这本书，那你就想看这个问题，就是关于这个用户分流的问题，你就可以读它的第五章就是第五章叫AB实验的随机分流。所以这种分流就会有一些办法，就是我们用什么样的办法可以让用户的这样分流基本保证AB是一致的。就是A组和B组的用户基本上是你知道且A组和B组和大盘的用户。这个大盘就是你未来想给哪些人用，并不代表大盘，并不代表你所有的用户一定要注意，并不是你所有的用户。举例来说，你优化的是一个下单流程。下单之后比如说你想给他说是按钮是方的还是圆的。好，那你其实最终的你只用百分之又用。我们就刚才说，你用1%的流量做A组，又用1%的流量做B组，你去做实验。凯东老师41:27最后你放量所谓的1%是什么呢？1%是点了下单的用户的1%，或者说就是进入到下单页面的用户的1%。我们这么来讲，用下单页面的1%。那这个时候你放量时是所有进入到下单页面的用户明白吗？所以所谓的大盘综艺不是所有用户这个因为我在群里之前看有人在问问类似的问题，所以说你用的分母到底是什么？你的百分比用什么样的方式抽。凯东老师41:59比如我举个例子，比如说像我现在了解到某一个大型互联网公司大厂和一线大厂，就是我们常说的超大厂，他们在做实验的时候，他们的分流是拿什么分呢？是用户一进入App就进行分流，无论你是做什么样的实验，他们都在用户进入App的时候做分流。其实这个公司就是那个超一线大厂的，他不同的那个业务其实AD用的不同产品，就至少我知道那个业务他做的产品就已经错了，从用户分流就错了。所以他后面得出所有的结论，客观来讲都是有偏差的，是这样的都是有偏差。对。好，这就说的是。那我们就讲一下这个实际。凯东老师42:45第一个就是用户分流，这事我就讲完了，第二什么时候你要让它发生，你去选这个用户就是策略生效时，这几个字用得非常好。我们这个Adamtwe这个已经给大家分享了，在公屏上如果你想做用户分流，一定要在策略生效时完成。刚才我举的例子是这样，我说的，如果你想下单，在支付的时候去看支付按钮大一点好还是小一点好，或者说支付按钮在左侧好还是在右侧好，你这个时候你想分流一定是进入到下单页面的用户进行分流，这个很重要，非常非常重要，也是非常好的一件事情。好，我们继续一起往下说。凯东老师43:31当我去把一个用户分流的时候，我们刚才讲了就是我们按头图这个概念来讲，你会发现这个头图刚才我说是在二分级屏幕，好像在1/3屏幕好，人会除了质疑你刚才说你的人数太少对吧？你用甲和乙并不能代表说最终的结论。好，那别人说了你不止甲乙有偏差，你是不是这个图也有偏差。比如说你给甲看到的是一个特别对吧，朝夕蓬勃。比如当前非常又热门的一张图，你给你看到的是一个特别晦涩的对吧？然后就音域的一张图，你看音序那张图大家不看这就来了，就说如果你想做AB实验，你的想影响大家是说这张图比占屏幕的1/2好还是1/3好的时候注意AB实验只校验一个不同的变量。所以我们如果想1/2图还是1/3图，那我们尽量要保持它那个图是一致的，只不过那图的大小你可以进行一定的缩放，或者说要保持它基本上视觉是一致的，你不能把素材变得不一样，那这时候你就没法做AB实验了。凯东老师44:47所以AB组他们想进行决策的时候，AB实验一个大先对控制变量非常好，你只有一个变量是不同的，不能做多变量不同。如果你想做多变量不同，那它会有其他的很多方式。但是在AB实验这大家注意你只有一个变量不同才可以得出决定的结论，否则你会得出很多很多的结论。比如说你这次AB有效，你虽然最后得出的结论是有效，但是如果你中间有三个变量，你根本不知道你为了什么。比如说刚才我说的你如果占1/3薅这个图它的素材颜色到底是什么样子的对吧？还比如说这个图它是一张动图还是松的图对吧？再比如说这个打开App的时间，有的是上午看，有的是晚上看，但它有时候会对明暗也会有影响。那这些变量都不同，对吧，会有非常非常的组合。那这个时候你不应该这么去做，你应该做的是什么？你应该做的是说我只控制一个变量，但是注意对，别着急。凯东老师45:51这就是我要讲的就是如果说你想控制多个变量，它会有几种办法，这个在这本书里面，你看也有这个AB实验的，当时会有一个这个如果你想去改变多个，首先是第一个你先可以去看一下第三章就统计学的一些知识，有AB实验的统计学知识，第三章大家可以去读。然后还有一个是什么呢？就是当你去改变很多很多因素的时候，它会有两个认知我先说会有两个认知。第一个认知是什么？就是我多个改变，其实就是对用户来讲其实是多改变，但对我来讲是一套输出，或者说我认为我这里面虽然有多个变量的组成改变，但对我来讲对用户的感知其实是一个。这个时候你都可以认为我这次策略一次升级，我虽然改变了几个，那就是必须的，这时候也可以认为说我是否进一步迭代，那这个迭代虽然有动作改变，但依然可以去做这种情况是比较特殊的几种情况。凯东老师46:59另外一个就是多变量也可以做AB通过这个算法消除斜方差即可。这件事情以我的认知是不太行，我想说是不太行了，因为有非常非常多的变量，它在某些时候是拆分不出来的。虽然说我们可以通过一定的办法去进行一些处理，让它看起来更合理。但是如果你真正做归因，想把它完全归因到某一个参数的时候，有的时候你不一定能做得到。是这样，因为它的影响的变量就太多了。所以如果做一笔实验，推荐大家尽量控制，就是你们优先记得是我尽量使用一个变量去控制它的影响，其他不要有任何的影响。这是从我们做实验的一个初衷角度来讲，可不可以多个，就像我说的会有些特殊情况。凯东老师47:50第一个特殊情况是说用户可能是多个感知，但是对你来讲是一套策略的输出，因为他在你这边输出的时候是单一策略，那这个事情你就以策略结果为导向。第二是说你内部有多个变化，但用户感知是一个，那这种的升级让用户的感知为最小单元，那这时候你也可以去做，那这个时候也是一套升级策略，是这样，这个也是我推荐的，然后多变量同时做AB是我不太推荐了。有就是不是所有都不能做，但是你可以认为绝大部分都不能做是这样，因为它受控的因素太多了，以至于你最后不一定得出很好的办法，所以控制力量就非常非常重要。然后有一个办法就是说刚才我说了，那我怎么能保证？我就说我我刚才分流了对吧？我把这人分了，有一个好的办法把它分了，已经分完了。那我素材变量控制住了，我去做实验。那这个时候我是不是上来就要做AB实验呢？不是的，那这要引入一个概念叫什么叫an实验，什么意思呢？就说你分你分的用户，怎么能保证你分的真正两个用户差两地，就两群用户差不多呢，且这两群用户跟大盘也差不多了。那你应该做的是什么呢？叫AA使用。凯东老师49:09我们还以大盘流量1%作为A组，1%流量作为B组我们来做这个假假设接下来我们都会以这1%流量作为假设。比如说我们用百分之流量做A组，百分之流一的流量做B组的时候，你在跑AB实验之前，你应该做什么去跑AA实验？你说这个AB实验，那什么叫A呢？其实道理又非常简单了，就是我们先跑用户是刚才说我们想看看这个顶部导航那个图。凯东老师49:39二是之一占平好还是1/3占平好。但是我们现在已经执行的策略是1/3平。好，你就用1/3平对用户分成两组，然后每一组都是1/3平，你先让他跑一段时间，但这流量是固定的，那个人就是固定。所以这里面一个概念就是用户一旦被分到A组或B组或者叫AA组，他们一单分到一组之后，在你整个实验期间，用户不能改变飞书这件事是非常非常重的一件事情，那这个相关的知识我看一下，这个用户不能分组，这件事情大家可以看一下在我看来是谁。凯东老师50:33去分组。好是在这个dad实验的灵敏度第8章的时候会想到关于用户分组的这件事情，就是如何去进行实验的分组，包括提升灵敏度这件事情很重要，大家可以去看一下。然后分组我们继续来回来来讲A的分组它的意义是什么？就想告诉你这两个实验跑出来之后，你会发现两组用户行为差异的结果在你的目标导向上没有任何差别。比如说刚才我说顶部图是1/2，好像1/3。好如果我们认为它的评价函数是点击率，点击率是多少，那这个时候你会发现A组两个A组的点击率在运行一段时间之后，他们的没有明显的差异。比如说大家都在点击率在3.25%这个数上下浮动不超过，比如说0.2%，这个时候它就是很好，就证明它没有什么差异。凯东老师51:31那这个时候我们如何去定义差异？又有一个池就是AB实验的这个评估，其实它会有一个显著性评估，就是我们经常如果做AB就会引入一个词叫显著性评估，必须显著。如果一个实验AA实验的时候它俩有显著性差异，就证明我们的分流有问题，就是用户分流有问题，或者是我们有其他的，就是最核心的是用户分流有问题。当然你也可能其他问题，比如说你工程对吧。凯东老师52:04那还有如果我们在AA的实验发现没有显著性差异，这个时候代表什么？代表了这目前一种分组的方法应该是稳定的这两种用户基本一样。然后其实有的时候我们很少跟大盘做比较，我听说其实我们很少大部分的时候都是A组和A组去比较好。这个时候我们叫A1组和a2组。然后如果我们他俩稳定的时候，那你应该做什么呢？我同时继续产生AB实验，那我们继续用1%的流量作为A组，1%流量作为B组再跑一段时间。然后就看你的不同的策略到底谁更好。凯东老师52:43如果你发现最终的结果是，比如说我们刚才说1/3的稳定在这个3.25左右，然后但半屏的这个点击率整体它提升了大概在4左右。那我们其实则简单来讲说，从我们这个实验角度来讲，占1/2屏幕的点击率要高于1/3屏幕了。那我们就可以最终认为我们的三二分之一屏幕这个策略是对的，那它就是可以推向全量用户什么概念，就是所有打开用户未来的前占比都是这样。凯东老师53:21我不知道大家在我读到这个时候，就是有没有些疑问说，你是不是有些问题，就是你看我刚才说了，就是我们经过一段时间的跑，经过一种科学的计算方法，就叫显著性，就是显著性检测最后得出了一个结论叫显著，就有显著性差异。那这个显著性差异说1/2平的就比1/3平的点击率要高。好，那我们这时候应该怎么去定好这个问题，得出结论是这样。那我们要不要把顶部的图就一定要从1/3换成1/2。凯东老师53:58这个我们在线的听众大家有什么样的想法？大家会觉得我们应不应该这么做呢？好，这里面大家可以看，我们现在又拍了一个福袋，在我们左上角已经拍了一个福袋，就是如果你参与了抽奖，那我们在抽奖另中奖的用户中会送出我们下一期要读的书，下期要的送的服务叫超级用户，是这样，但是你怎么来参加这个抽奖呢？要点左上角的一个数据人的自留地，你要关注我们的账号，只有关注了账号才能参与抽奖，是这样，你参与上了之后，如果中奖了，就会得到一本超级用户这本书，我们下一期读书会会读这本书，然后大家又可以一起来读了。凯东老师54:46非常好。好，我们就是你看已经有同学在说如果得出了这样的一个结论，我们就应该换好，这个就非常好了。这就引入一个概念，如果我们认刚才得出了一个结论，它已经了，显著性的点击率好明显。好，你从各种就是你都不用说，我还科学计算，我就看我自己的这个。比如我们有BI报表，BI报表上就有一个线，就看那个顶部在A版本的用户整体点击率3.25，在B版本二分级屏的点击率4%。对吧，稳定在40%，我自己就是看就看出来了，明显。凯东老师55:29好，但是这时候就有问题，你认为数据好就一定要换的时候。我想说的是大家刚才我给你看的App，我再切回来。你可以看到这上面有顶部的画这个滚动图，然后下面是什么呢？是功能性开放。再下面其实是有两个推荐的系列，是这样推荐的犀利。那这个时候你会想到一个问题，如果是我就会想到一个问题，有人说不一定换好。这就是一个问题，就是我会思考一个问题，就是如果把上面的屏占比变大了，点击率顶部的图点击率是提升了，那下面的元素是不是就看不见了呢？如果用户还去滑动的时候，滑动成本就提高了，是不是对于用户去看到其他模块的数据会有影响对吧？所以说当你做一个策略的时候，你去评估一个你当天的策略的时候，你应该有一个最直接的目标，就是最直接的指标去评估，说它到底好还是坏。但是同时你还要去有一些什么样的指标是整体性的长期性的指标，一个是要整体性指标是什么？就是我最终评估的是用户在我的消费的时长。凯东老师57:03如果你的比如顶部图对吧，太大了面积，我会发现下面推荐模块用户访问的效率就就是低很多。那这个时候其实你发现在其他模块的总体性指标上，一总体性指标其实是变差的。然后同时如果你把这实实验放的时间足够长，你会发现1/2平的占比，再加上你的功能模块，你这个时候就发现一个问题是什么？从长期目标来看，你发现你的用户总停留时长降低了，为什么？因为用户总会点，那再会发现跳到其他的很不方便，因为现在用户有很多的选择我从A产品到B产品到C产品如果你发现这样，又有问题了，是这就引入一个问题了，就是说我到底用什么样的评价指标去评价我的AB实验，这就很重要。凯东老师57:51所以它应该有什么呢？应该有短期的指标，应该有长期的指标，还有应该有总体的指标是这样子。所以在我们这本书里，验也把这个问题讲得非常非常透彻。大家可以看到这本书的第就是AB实验这本书的第三部分，第10章和第11章，它会有产品指标体系和实验评估指标体系，讲得非常清晰。他把这一部分讲得非常非常好。我不得不说是刘玉凤老师，但是AB实验这个领域应该是非对。大家如果想去了解这一部分，就是我做AB实验如何去设立很好的评价指标？要去看这本书第十章和第十章，大家看了之后会对你曾经设立一个指标到底是否正确，会有很好的指导经验。那大家可以通过购物车然后去买一下。就是我们这个AB实验的书，如果大家觉得这个书对你很有帮助，我推荐你大家一定要去买一下。AB实验是这样。好，我们继续来说说。那我们建一个AB实验，刚才我说评价指标也都有了，给到我的时候那是不是有个问题说我做事，只要我做事我就要用AB实验。其实我不知道咱们现在在跟我一起在读这本书的，同学里面字节的用字节的同学有多少就字节这边，这本书里面有介绍字节一年可能会做上百万到上千万的实验，就是抖用抖音也好用头条就是都都OK，就是反正这些App它会做很多很多的实验。凯东老师59:30那我们是不是所有的事情都要用AB实验且用AB实验的？不过我想说建立AB实验的思维，用AB实验去做你科学的价值认定和版本升级类似这样的事情是非常非常重要的。所以你要建立这样的思维，但是并不是所有的事情都可以用AB实验。举例来说，AB实验刚才说了，首先你要建议AB你要把用户进行分流对不对？那分流以后你是不是对于这些数据还要分析对吧？那就一个问题了，你就要有一个平台能对用户进行分流，而对用户进行分流，其实你扛流量的压力就很大，你就建一套能力，然后去扛所有的用户流量。凯东老师01:00:20你的用户流量如果按照正常平台所有流量都会进行AB来讲，那你就至少乘以2所以你的流量成本就变高了，且你开发还要开发这样一个功能的一个系统。而这个系统开发出来之后你还要对它进行相应的校验，那你后面还有数据分析师，它成本就会变高了。每一个公司本来发展的状态都不一样，我们是不是所有事情都要做金融AB注意要符合你公司当前的发展情况。我们认知用AB的方式是对的，其实AB背后的是什么？背后并不是AB实验本身，而是你任何一次的决策，尽量以数据为基础。AB实验是告诉所有人，你的决策应该有根有据，你有足够的数据支撑你，你就可以去做。这是AB实验更底层给你一样建立了逻辑，而不是说我必须要用AB实验去印证我的决策。凯东老师01:01:17还有一件事情是什么？就是当一个创业公司的，很多时候你是从0开始做事的，从0开始做事。如果你的人足够有经验，客观来讲时间就是金钱对吧？我不能为了AB实验建很多AB实验的系统。然后我AB实验还要经历很长的时间，他才能怎么样他才能得出结论。而这个时间我也许快速地比如我做一个社区类的，就是我做那个你比如我给大学生做一个应用，我就是面向大学生的，我可能要快速地迭代，我可能一周就已经迭代一个版本了，但是你数据沉淀其实都还得不出显著性结论。那这个时候怎么办？对吧？你最终没有办法。凯东老师01:01:59那你应该做的是什么？更快速如何获取用户最快速的方式去获取用户的反馈，然后拿用户的反馈不断迭代自己的产品，这才是你应该做的事情。但是你看他告诉你是我说AB实验的背后是告诉说你如何能得出足够多的数据基础，正确的反馈，然后让你前进，这个是它背后的逻辑，不是说你一定要做AB实验，那你这个时候应该做的是什么？你应该做调查问卷，那你在做调查问卷的时候，你尽量采样要均匀一些。比如说你说我想给北京大学生，北京的所有高校大学生去做一个App好，你不能只上中华艺术学院去调研对吧，你只要调研全是女生，且他们是他们这个学校的环境都是女生，这肯定就有失偏颇。对不对？你也不能只去清华大学去调研，因为清华大学对，它肯定只代表了很少一部分经超经营人群的一些对吧任职。凯东老师01:02:58那你应该做什么？我会把你应该用比较好的创方式，比如北京的所有大学，他们大概分数线是什么样的对吧？我们简单来讲可以这么去做，那他们的分布的整个北京的地域是不是？可能会有些差异。我们认为好，那我就根据地区，然后再去抽取说我们有哪些的分数段，这些学项我抽一部分出来，或者说我就全做我全调研每一个学校我都做调研，这可能是更好的看你人力，但更重要的是什么？就像我说的非常好叫分层抽样，这种概念叫分层抽样。所以这有一个抽样的逻辑，在抽样在这个统计学里面是一个非常非常垂直和专业的一个领域。这个因为这本书里面并没有讲这个抽样相关的东西，所以这本书就AB实验，这本书没法给大家去介绍这个抽样的方法，这个我们就不在这讨论，因为这又是一个非常非常这个专业的一个领域。凯东老师01:03:55但是大家可以记住叫抽样，大家把这两个字给记下来，或者其实在统计写里面，还有它会叫什么叫采样，你可以用采样这两个词，然后你看如何去采样。这个是个如果大家有兴趣，可以用这个词去搜索，然后去得到一些知识，然后你就可以再去扩展。那这是不在这一期的理论里面，我只想告诉大家。凯东老师01:04:16那其实刘玉峰老师非常好，这本书我为什么说他非常良性呢？你可他自己就在这本书的第六部分就讲了AB实验的局限性。同时他又讲了第19章叫AB实验的局限性。第20章是讲到AB实验之外的因果分析法，还有21章常用的用户调查分析方法。他其实把这些方法也介绍了，因为其实怎么说，因为这个世界有非常非常多的办法方法去做一件事情。一本书也许不能把所有的事情都讲到了，都遍历到都穷举了，那他已经把常用的一些方式都讲了。所以在这本书的第六部分如果你已经一直在做AD你会有疑惑，就是AB其实是不是不能解决我的问题。好，你去读它的第六部分，也就是第19章第20章第21章，你可以去看看它的局限是什么，在这个局限之下，你正常应该做的方式有哪些？这个是AD实验。这本书我觉得作为收文章也是六部的，收得非常好。所以这本书它的结构性很好。然后从前面的认知一直到后面的整个实验的流程，一直到最后的收尾，告诉你它本身其实是有局限的，这件事情讲得非常非常好。所以这本书真的是超级，大家可以看一下我们下面这个链接，就是AB实验科学归因已增长的利器，不要看它贵，这本书超值。凯东老师01:05:50这本书可能是很多，你买几百几百块钱的书之后，你获得的信息量都不一，有这一本书的信息量大，这样一定推荐大家可以去用一下这个AB实验这本书，然后去看一看，在你的这个历史做AB实验里面，如果你做过，你看看你对应的。第一，你做的对吗？对吧？第二，你评价的对吗？对吧？第三是不是有些事他就不能做AB那到底是哪些事呢？我觉得你带着这样的问题，你去读这本书，你就会发现你想要的答案这本书都有，它不是一个非常浅尝得志的书，基本上把你刚才我说这三问题讲得都很清楚了，是非常非常好的。凯东老师01:06:41然后这里面关于这本书的我还想说点什么呢？关于这本书，我想给大家再说一下它的组织结构，它主机构是这样的，它一共分为六个部分。然后这本书它直接自己就讲，就说我这六个部分都分给你讲的是什么，你会发现它这个分前后的这个顺序的逻辑性就很强。首先它第一章讲的是通时就给你讲AB的通时。然后第二部分问买书有优惠吗？是这样，就是我们挂的就是这个比较便宜的，就是我们是挂的当就是我们可以挂当当和京东两个链接。然后现在挂的就是这个当当的就比较便宜的链接了，大家可以通过这个链接去买，因为这书本身就很贵，就是如果有活动的时候，他可能会便宜些但是因为这本书现在是超级新的新书，你越早一天买我觉得你越值。凯东老师01:07:38我说真的这本书是如果你在做AB实验或你在跟有AB实验的部门合作的话，我强烈推荐你去看一下这本书是这样的。然后我们讲下他的第二部分，就给你讲说你这个AB实验的一些常识性的认知，他会给你讲。然后第三三部分是讲如何评估AB实验，然后第四部分就开始去告诉你说这个AB实验如何搭这个平台都有哪些模块。凯东老师01:08:10然后第五部分它其实是什么？第五部分是整个AD实验的案例，它讲了很多大案例。然后最后第六部分给你写的，就像我说的AD的局限，就这个结构非常好，你就按照这个书的结构来读就行了。这是第一个。第二个就像我说的之前说的，根据不同的角色一定要注意自己的角色，然后去读相应的内容。如果你在这本书里面，即使他写的章节里面，你依然看到了很多的数学公式，你可以忽略掉。不重要，完全不重要。就是如果你不是这个专门的数据底层的分析人员，这些事情完全不重要。因为怎么说，你都是在使用这个AD平台本身是这样。然后我这里面再介绍一下就是AB实验平台。就是如果我们想做AB实验公司里面就是公司里面又没有AB实验平台，那你怎么去做这件事？那我想说他有几个很好的办法。书里面也讲了一个办法是说如果你想做，你如果你想做AB实验，你不是一定需要一个平台，我说真的你怎么办？你自己从功能角度来，你自己来做就行了，就自己开发，让这个两个版本让不同的人看见。凯东老师01:09:30那你说我是不是自己就完成了一个AB平台？其实AB平台很大，它有AB的实验的配置对吧，然后还有实验的运行，整个保障机制，还有最后的什么。就像我说它还有最后的这种数据分析可视化一系列的这个问题，包括归因。那其实你可以去完成一部分能力，就是我把这个用户在某一天看到的不一样就行了。那这种短期的实验，然后你可以去做相应的测试。凯东老师01:09:54测试。然后测试之后，你说我想用显著性的这个办法来做，是不是看它足够显著，明天后天还要这么去做？这个时候你说那我是不是又把AD实验的这个用户保持的功能做了呢？然后客观来讲你确实是这样的，确实你要做一部分的开发，但这种他说你不要把它变成一个大平台，你按需来做，它的开发成本又小。这是第一件事情，就是你可以自己开发一下。第二个事情是你可以从外卖采买，那采买的时候就要提醒大家如何采买这本书特别好，就是真的是刘云胜老师这本书这个采买。凯东老师01:10:35那好在这本书的第12章叫开展AB实验基础条件中，它其实就一个这个，如果你想买一个你想用AB平台，你如何去买一个AB实验平台？现在第三方服务有很多都提供这样的服务，就是阿里腾讯就是所有有云的服务都提供AB实验平台的服务。我们常见就是行业内目前做的比较大的几家，就是就就是几家还对外服务。且这个大家就比较常见的其实是阿里，腾讯还有这个字节目前是这三家。然后从那个公司的名字就是阿里云，腾讯云还有这个火山引擎，就现在叫火山云，这三家目前是AD对外提供服务制作的，然后小工其他大厂也会有一些工具提供出来，然后包括这个还有一些小厂也会提供。那这里面我推荐你们是什么呢？如果你们的数据敏感性很差，什么概念就是不需要有多少保密的这个概念的，就是保密性不没有那么强，你就采用这种大的企业的这种AB实验的平台直接做就可以了，就这样那这个就会有一定的接入成本，那这种接入成本都还可以接受。凯东老师01:11:55那另外一个就是如果他们的不能提供一些私有化服务或者私有化服务太贵，你可以找一些目前的做算法的小公司，不要做云的，要做这种算法的小公司，他们也会有一些AD服务。举例来说，就是我有一个朋友他们开的公司这个叫啥来着招达观科技这个给我朋友公司做一个那个叫达观科技就达观科技是上市公司，它这种就是给大家做算法的，就包括搜索推荐一系列这种，一般只要做搜索推荐这种的这个都能提供AB的能力。那这种这种公司他给你提供AB能力的时候，他这个价格就相对大于大厂，其实要便宜很多了，而且他照他可以给你一些定制化的内容。凯东老师01:12:51好吧，这个也是我给大家一些建议。但是如果你们公司的数据保密程度很高，因为有很多数据是不能给到外面的，是不能的。那这个时候就是因为你给到外面，比如你给AB实验，那你肯定是全量用户的信息，就是用户的基础信息你肯定是不给的。但是比如你流量日活是多少，这些用户到底喜欢哪模块，这些信息就是完全对外投影了。是这样。如果你认为自己的信息不能被外面得到，那你就不能合作对吧？去采买的时候你应该关注点是什么？这本书上其实已经讲了，讲得非常好。第12章他说你要考单考验就是考虑的是你运营的实验类型。比如说如果对方只支持这个网站的AB对吧？那如果你是App就不行，那如果他只支网站和App但不支持小程序的可能也不行对吧？但理论上其实现在大的这些服务商都支持。凯东老师01:13:45然后还有一个是考虑接入速度这件事也很重要，就是你不能因为AD会把别的事情影响。如果你比如说我接入，假设我是个网站，就是我是个海外网站。然后其实我服务器都在海外。最后你买了一个国内的服务，它在海外没有节点。那你买了一个国内的服务，它可能对你网站整体加载速度有影响，那基础就得不偿失。对吧？因为大家价格都差不多，其实也没必要。然后还有比如说他首概念是什么？考虑要使用的这个数据指标和维度，就是对方那边能统计一些维度，这个你需要考虑。然后还有一是说考虑外部就是你随机化单元其实主要就是这个用户在这边随机化单元主要是用户就是考虑接受数据共享程度，这个是非常重要的。凯东老师01:14:28在这本书的第12章把这个问题也讲了，如果你想拍卖，一定要注意提前讲这个问题。你别说我到最后我都已经谈完了，跟大家都谈好了价格，最后发现对不起，我的这个数据不能对外，那你就能就白谈了对不对？特别像你像字节这种字节的AB他现在能不能？就是以前以前跟火山谈的时候，跟火山云谈，和火山引擎谈的时候，他是不能提供大数化服务的。然后现最近又好像AB是可以了，就是他们好多服务都不能提供那个本地化服务，只能提供就是SaaS版本，那你SaaS版本就要复盘，如果你数据影响就不太行这样。这就是一个刚才我说如果你想用一个AB实验，你内部到底应该怎么做？这个很重要是这样，如果这些都不能这样，我说你更好地反馈什么，就是有些东西是一个快速反馈跟用户快速交易的最好的办法叫什么呢？你比如调查问卷，然后或者是电话这种最很快的方式，然后你跟用户建立直连接，然后你拿到用户反馈，这个时候其实速度远比飞机更好。如果你是一个快速迭代的产品，一定要这么去做好吧，就是这个一定要注意。凯东老师01:15:34所以在我你像在京东，我就我主导的一个项目叫京调研，其实就京东的所有在他们这样的一个发放是这样，那个是我们在很多功能测试的时候，还有优化的时候都会使用的功能，而不是使就用AB因为AB的成本太高了，你用大量的流量是这样。好，今天这本书的大概的内容，我想说就大概的内容，这个我就讲完了。就是我刚才讲说如果你要做一个AB对吧，你应该先怎么办呢？你要先对用户进行分流对吧？用户分流要怎么样呢？要保证A组和B组的用户基本一致，且跟大盘基本一致。但是我们常用的时候其实不看大盘就看AD是不是一致就OK了。但是如果你想放量，你就要看大盘是这样，什么叫放量了？就说当我AB实验干的时候都1%。好，那我未来是不是5%是50%对吧？或者说我直接就是认为它行了，我就直接100%全用A就是A或B的某一个结论是这样。凯东老师01:16:36然后同时我怎么去评价？就是我保证这个实验运行的一段时间之后，我怎么去评价？他就我说最直接的第一个评价是显著性评价，就是他到底好不好，先得一个结论是好还是不好，这件事情很重要。那第二件事情是什么呢？暂时你一定考虑一下整体性指标还有长期性指标。就这样你很多时候长期性指标是比较难点检测的。我想说这个是事实比较难检测，但是总体性指标是比较容易的，因为它是伴随着你当时这个实验周期一直都会有的。就像我说的，刚才如果你A模块的策略会对B模块产生影响，这个时候你其实把AB模块的数据都要统一看一下，你不能只看自己的模块的数据。好了，我就认为它是对的，你要看你相关联的所有的影响，都要去检测一下，是这样。然后所以这里面就会指标评价体系是这本书了，刚才说了是这本书的。凯东老师01:17:45是这本书的第10章和第11章，AB实验的指标评估体系是这样，你要看这个整体的评估，我来看看多好。然后还有就是说当我一个实验做完了之后，我发现有些事对吧不能做，那实验怎么办？好？读这本书的最后第六部分，读它的最后两章，那最后三章去看看第一，什么样的时候不能做。第二就是我还，如果不能做AD我还能做什么事？那我接下来给大家做些什么事呢？就是我们在群里其实发了一个接龙，就是我们这个读书的时候，大家会有一些问题问出来，那我先回答一下，因为我要找一下，那我先回答一下，就是公屏上的这个问题。公屏上刚才其实有个问题就说当你数据量大到一定程度的时候，它总归是显著的这件事情我先说这个不是一定的，因为书上也是这么说的。就是说当你书尽量大，这个数量足够大，然后就是你一定就是显著。我想说这个其实真的不一定显著的，就是A和B的随机性。就比如像硬币的AB面，你就是发现其实你是在多少概率之下，这件事是一定发生的，那你会发现就是两个可能完全一致，一时代。凯东老师01:19:00那你告诉我硬币的AD面谁比谁更显著对吧？所以首先你要知道当一个分布它本身就不是正态分布的时候，它就没有所谓的显著性可言。而这个时候在实验由于你对实践的设计会有一些前提和一些因素的影响，所以它不一定会显著。一个实验，就是当你数据量大到一定幅度一定显著，它会有一个前提，就是你必须符合正态分布。而符合正态分布是说你所有的真实业务是正态分布的。如果你的真实业务本身就不是正态分布，你去设的条件就不正态分布，你还假设它是正态分布这种是不行的，是这样，这并不是数据量大到一定程度就一定这个正态分布。凯东老师01:19:46第二个事情是说他也会引申一个问题是什么呢？就是当如果我做一个实验不显著的时候，我应该做哪些事情？这个也非常好。这本书其实也讲了，就是当我那个做了一段时间，发现用这个事情就是还没有显著，那我应该怎么办？就这个事情是说在这个书的第八章就会有一个叫实验灵敏度的事他会给你讲。凯东老师01:20:14还有第就是第9章这个实AB实验的影长期影响都会讲这个问题，就说我可以去让这个实验的时间拉长一点。但其实实验周期就是一般我们会认一般常识性，就是我们通常在业业务中做是以两周为一个时间周期，有一周时间太短了，而且有些数据会有一定周期性的特点。所以我们一般有两周的时间作为AB实验的周期，当然你可以更长，但是实验其实太长也不好。为什么？因为你的产品如果复杂度比较高的情况下，就是是复杂度比较高，前提要注意是前提复杂度比较高，那么它同时并行的时间很多，经常会有些实验和你当前的策略会产生相互的影响。这个时候你的实验点就没那么标准了，除非你当前的实验是独立性极强，这个时候你可以做很久的实验是这样。但一般我来讲，我们在业务中实际上就是两周左右就OK了，是这样。凯东老师01:21:11然后如果说你的实验显著性不够强，其实注意显著性不够强，并不能得出结论说AB实验就是我们认为A是原版，B我们永远认为B是新版。你并不能说新版的不没有旧版的好，你只能得出是AB版不能比较的结论。明白吗？而且我们显著性通过不同的办法方法计算，它可能会有一定的波动性，它的值计算是不一样的。就我说了，你作为正常的产品能力也好或者运营也好，你不用管这些他怎么算的，就是我想告诉你他说有一定的波动性了，所以实验周期一定要相对长一点，再去看结论，不要实验太短了就看结论，这个时候可能会得出错误的。凯东老师01:21:56这个认知是这样，一定要这个时间足够长，一般像我说两周及以上的时间去做这件事情，这是一个很重要的事情。然后刚才还有那个公平说了的，关于这个就是数据统计显著，但不代表业务显著。这件事非常好，非常。在这本书里面也讲了这个问题。这本书的道歉，因为这个我没记，我没收到关键词，所以我没法直接跟你讲关于这个就是统计显著，但业务不显著的。具体张哲看一下和双月的关系。凯东老师01:22:52如果没记错的话，就如果没记错的话，这个也是在这个实验评估那个体系里面去有的，就是第10章和第11章。关于这个显就是统计性显著，但业务不显著。其中他讲了一个很重要的事情是什么是说当你去做一个AB实验，你发现显著什么显著是说A比B好，但是好多少，这就是一个问题