产品经理数据分析六大锦囊使用sensors analytics进行test

1、使用 Sensorsytics 进行 A/B TestSensors Data 联合创始人 & CTOA/B Test 是一种非常常用的产品优化，主要用于优化产品的界面设计、改进产品的流程、调整策略参数等等，它的原理也非常简单，就是观察用户在不同场景，如不同界面、不同流程、不同策略参数下的不同的“反馈”情况，来判断这些场景中最符合设计意图的那个。为了能够量化比较用户的“反馈”，是需要定量地对比分析这些不同场景所相关的 UV、销量、转化率等指标。这些定量的数据分析，往往会成为 A/B Test 的瓶颈，很多情况下，产品经理可能会有很多尝试和想法，但是却会受限于技术ytics 这个产品所擅长的部分

2、，拉取数据、计算数据、分析数据的效率。而这正是 Sensors推崇的是，数据的“self service”，理想情况下，在完成数据接入之后，每一次新的 A/B Test 上线之后，非技术都可以自助完成数据的分析。在这里，会结合几个典型的案例，来详细介绍如何结合 Sensorsytics 进行 A/B Test。1. 界面的调整实验以神策数据（Sensors Data）的官网申请表单的窗口为例，来描述一次界面调整上的 A/B Test是如何结合 Sensorsytics 完成的。在的官网右上角有一个“申请试用”按钮，点开后是如下一个表单：关于这个表单的具体样式，可能会有很多不同的调整，例如，这次

3、在考虑调整这个页面的大小,决定做一个 5:5 的 A/B Test，看看调整大小后，用户提交表单的数量是否会增大。那么，结合 Sensorsytics 产品，这次实验可以这样进行：前端开发开发一个新的功能，根据用户的_id 对 2 取模；对模为 0 的那些用户，给他们展示原有大小的表单，并且调用 profile_set 接口，把名为“appearance_test”的 profile，设置成“test1_A”这个值；对模为 1 的那些用户，给他们展示调整大小后的表单，并且调用 profile_set 接口，把名为“appearance_test”的 profile，设置成“test1_B”这个

4、值；在完成上述修改后，就可以从如下几个层面上，迅速地进行数据分析，拿到实验的结果了：可以在事件分析里面，比较“提交表单”这个事件的触发用户数，筛选条件中可以添加 “appearance_test”的值为“test1_A”和“test1_B”，然后按照“appearance_test”进行分组，就可以比较在这个 A/B Test 中这两类用户的提交表单的情况了；如果担心用户“展示表单”的数量并不完全均衡，从而影响了“提交表单”的量，则可以创建一个有两个步骤的漏斗，第一个步骤是“展示表单”，第二个漏斗是“提交表单”，而筛选条件中可以添加 “appearance_test”的值为“test1_A”和

5、“test1_B”，然后按照“appearance_test”进行分组，就可以比较在这个漏斗中这两类用户的转化率了。上述的所有这些数据分析工作，都是非技术可以自助完成的，并且在实验开始后，在很短的时间内就可以实时地看到这些数据，从而大大地加快实验的速度，提高界面调整的效率。顺带说一句，如果有的界面调整的实验，可以复用“appearance_test”这个字段，然后通过取值来进行区分，例如，下一个实验的这个取值可以叫“test2_A”和“test2_B”。2. 流程的调整实验在这里，以一个类似于百科的 UGC 类型的产品为例，来阐述如何结合 Sensorsytics完成流程调整的 A/B Tes

6、t。这个产品的一个功能，是用户可以“编辑词条”，最开始的时候，对于一个非登录用户，编辑流程是：浏览词条-点击编辑按钮-登录/-编辑词条-提交编辑。从漏斗分析的结果来看，因为“登录/”这一步，而导致的流失比较多，因为“登录/”相对而言，是一个代价很大的操作。后来，产品经理想到一个主意，也就是将“登录/”这一步放到“编辑词条”之后，是否能够提高转化率？这是出于这么一个考虑，“编辑词条”后用户其实已经是有相当的付出了，那么，在有了付出的情况下，是不是用户相对而言就不会放弃？为了验证这个猜想，决定在 10%的用户上，做一个 A/B Test，具体步骤如下：在一个非登录状态的用户“点击编辑按钮”后，以他

7、的_id 对 10 取模；如果模的结果为 0，则直接进入到“编辑词条”页面，并且在“提交编辑”时，才触发对登录状态的检查，同时也调用 profile_set 接口，把名为“flow_test”的 profile，设置成“test1_A”这个值；如果模的结果为其他值，则保持原样，并且也调用 profile_set 接口，把名为“flow_test”的 profile，设置成“test1_B”这个值。后面就是通过创建对应的漏斗，并且添加相应的筛选条件，来分析和比较转化率了。例如，第一个漏斗是 浏览词条-点击编辑按钮-登录/-编辑词条-提交编辑，筛选条件是“flow_test”等于“test1_A”，第二个漏斗是 浏览词条-点击编辑按钮-编辑词条-登录/是“flow_test”等于“test1_B”。-提交编辑，筛选条件3. 参数的调整实验参数的调整，一般是指个性化、等算法参数的调整，这些参数的差异主要是在后端完成的，用户端并不能明确感知界面或者流程上的差异。对于这类实验，可以通过在后端批量进行 profile_set 来完成，的例子来进行说明：举下面一个简单的调整模型参数在进行模型训练时，就已经决定了对一部分，例如 20%用户使用新的模型参数，则在训练完成后，可以对这 20%用户调用 profile_set 接口，将“parameter_test”的值设置为“test1_A”，剩余