如何产品优化与A/B测试避免「浮于表面」

来源:吆喝科技 2019/10/16 阅读:3584 评论:0
分类: 产品运营
活动盒子活动运营工具,一站式解决APP运营拉新、促活、留存难题,提升用户转化! 了解详情

为什么这些产品建议会让产品优化和A/B测试「浮于表面」?

如何产品优化与A/B测试避免「浮于表面」

作者:默莱夫 

来源:吆喝科技(ID:appadhoc)

人人都是产品经理,对,也不对。

如果人人都是产品经理,那么产品优化就成为一个伪命题。

比如:

- 这个App很好用

- 这个体验不好

- 这种交互很新奇呀

这些产品评价看似看透本质,但是却是一些万能答案,放在任何阶段的任何产品都适用,最大的问题在于:

一没有论证

二没有数据支撑

在吆喝科技和他的小伙伴们共同努力下,试验文化和A/B测试逐渐被越来越多的人接受,这种现象得到一定程度的改善:

反驳这些大义凛然的产品建议可以不服跑个试验啊!

可是,如果想要A/B测试发挥最大作用,还需要解决更本质的问题:

为什么这些产品建议会让产品优化和A/B测试「浮于表面」?

自问自答:构筑自问自答的产品清单

面对产品优化问题,表面党最大的问题是没有逻辑,他们的优化建议看似都点破了本质,但是缺乏在产品内在逻辑的追溯。如何避免这个问题呢?不妨尝试像下面这样,通过自问自答构筑专属的产品清单:

下面将以薄荷阅读为例,手把手带您手撕那些表面党。

薄荷阅读的产品形式:薄荷阅读是百词斩旗下的细分产品。百词斩是以用户积累需求场景为依托发展起来的头部应用。利用用户在单词方面的数据积累,薄荷阅读在用户测单词量后,能够精准匹配对应的课程。课程包含3-4本英文书,周期为100天,每天微信公众号推送文章+录音,晚上微信群内老师分享讲义+公众号推送讲义。

这样一款产品究竟应该如何真正切中痛点的提出优化建议呢?

1、满足什么痛点?交付的确定性是什么?

百词斩围绕着英文的听、说、读做了一系列课程(写和译门槛太高没做),但只有薄荷阅读火了,为什么?

除了读比听和说的门槛更低,适用场景更广泛之外,核心的一点是,100天读完3本书,是一个非常确定性的、可衡量的结果。

而听懂电影、新闻,或者出国和老外畅聊,确定性就差了很多。很可能学完这门课,我还是听不懂新闻啊?

无论做产品还是运营,确定性都很重要。不妨问问自己,用户来了你这里,一定能获得什么?

2、用户画像?

薄荷阅读的用户主体,是大学生+毕业后1-2年的人,他们有个很好玩的特点:有目标,没计划。

想要通过英语提升自我,可具体怎么学,完全没计划。执行力也相对较差。这导致他们很难选到合适难度的名著,更难以坚持读完。

如果按照梁宁老师的说法,他们是典型的笨笨用户。他们只有大概的需求,但没有那么明确,需要你提供一套解决方案。实际上绝大多数的兴趣型用户,都是笨笨用户。

3、我的能力圈?

能力圈,是指你要保证产品确定性所需要的能力和资源。薄荷阅读的能力圈,至少包含下面3项。

能力圈的背后,是团队搭建。判定水平的能力是主App百词斩提供的。还需要一波有改编名著、输出讲义能力的老师,和一波有社群服务能力的兼职英语专业大学生。

4、我的用户路径是什么?触点有哪些?体验的峰值和终值?

用户上去一脸懵逼的,不是好产品。优秀的产品,要给用户一条非常明晰的路径。

拿出一张纸,从用户而非工作人员的角度,从头梳理路径,会对你理解一款产品有很大帮助。

5、触发用户情绪的场景是?

什么场景下,你会突然想说要提升下英语水平呢?想想,兴趣类学习的冲动,往往在什么时候浮现?表演的时候。

所以,除去工作生活中,真正使用英文的时候(太少了),你会发现,英文阅读的核心表演场景,也是触发情绪的场景,竟然是在朋友圈?!

这也是为什么,薄荷阅读会那么大力度的做打卡。朋友圈连续打卡,可以获得价值100多的一套实体书。

6、如何衡量自身生命力? 

一款产品,做活动、推流量、做事件,都会让数据变好。可原始的生命力究竟怎么样?

自身生命力好,大批的流量砸上去,就是如虎添翼;自身生命力差,靠砸流量续命,短期奏效,长期肯定会死。

得到App是知识付费顶级大佬,点开一套课程,把从第一节到最后一节的点赞数从头排到尾,你会得到一条衰减曲线,即使是最顶级的课程,还是会有用户听不完、学不完。

如果用户都没学完这套课程,就别指望他会去买下一套课了。所以,薄荷阅读这类付费产品的生命力指标,应该是完课率,即 学完人数/购买人数。

产品清单的好处,就是可以指导具体行动,又能不断完善。如果有我漏掉的关键环节,和分析错误的地方,欢迎补充指正。

避免成为表面党的根本方法

产品清单,本质上是在寻找优化目标和关键指标。在A/B测试过程中,第一个需要确定的就是优化目标并与之相关的关键指标。整个试验方案的制定也都是围绕着这两点展开。

表面党有时也能给出产品清单,但是他们的优化目标是无法匹配真正的关键指标。比如,文章一开始所提出的那三个问题,没有一个产品经理可以和具体的用户行为相联系。

当然,A/B测试巨大优势不仅仅是围绕着科学明确的优化目标,而且是一整套基于统计科学和信息科学的实操方案。总结起来,A/B测试与常规数据驱动型优化手段的本质优势有三点:

第一个问题是流量科学切割的问题,

第二个问题是数据收敛与置信区间的问题,

第三个问题是匹配各个行业的落地解决方案。

科学切割流量是发挥 A/B 测试工具优势的基础前提,任何 A/B 测试工具第一个需要实现的技术问题就是流量能否被科学切割,一方面切割后的流量能够保证现有用户体验不被影响,保证产品运行的稳定性,另一方面,如果流量从源头上就被各种因素所干扰,那么后续的数据收敛和置信区间都无从谈起。

数据收敛与置信区间是保证 A/B 测试工具的结果是否可信的两个最关键的因素。数据收敛才意味着数据的离散误差处在可接受的科学范围内,如果不收敛就意味着数据不可信需要排查问题重新试验,置信区间也是一个统计学概念,简单说来就是代表着被分割流量最终统计结果的可信度,只有置信区间的数据也收敛才意味着最终结果是真实科学且可信的。

A/B 测试工具是一个可以被各行各业所深度采用工具,但是并不是意味着每个第三方A/B 测试工具都具有解决各个行业的能力。原因并不在技术层面,而在于各行各业都有自己的行业特性和应用场景,这就需要大量的客户成功人员去辅助技术或市场、产品或运营开展符合本行业的 A/B 测试,不能一刀切的照搬其他行业的实操案例。

本文由@默莱夫 授权发布于活动盒子,未经作者许可,禁止转载。


活动盒子(huodonghezi.com),一款助您大幅降低开发与运营成本,实现场景化、精细化、数据化、自动化,助力运营实现快速拉新、留存、促活,提升用户转化的活动营销工具。应用场景支持:APP应用+H5+微信公众号。立即去体验:http://houtai.huodonghezi.com/users/register

评论

APP运营解决方案

助力APP运营实现拉新、

促活、留存,提升转化率

立即获取方案
热门标签
数据分析 活动策划 活动工具 活动复盘 活动预热 活动设计
热门文章