PlanOut - A/B 测试工具


BSD
跨平台
JavaScript

软件简介

PlanOut 是
Facebook发布的一部分A/B测试源码,帮助数据科学家和其它职工轻松构建、管理和验证A/B测试。为了搞清楚哪个功能或设计更好,每个网站或移动应程序的数据科学家都离不开A/B测试工具。

完整示例:

from planout.experiment import SimpleExperiment
from planout.ops.random import *

class FirstExperiment(SimpleExperiment):
  def assign(self, params, userid):
    params.button_color = UniformChoice(choices=['#ff0000', '#00ff00'], unit=userid)
    params.button_text = WeightedChoice(
        choices=['Join now!', 'Sign up.'],
        weights=[0.3, 0.7], unit=userid)

my_exp = FirstExperiment(userid=12)

# parameters may be accessed via the . operator
print my_exp.get('button_text'), my_exp.get('button_color')

# experiment objects include all input data
for i in xrange(6):
  print FirstExperiment(userid=i)

在 Facebook,每天要运行上千个测试,而这些测试有的是用于优化特定的结果、有的是服务于长期的设计决策。正因为每天要运行这么多次的测试,需要可
靠、稳定的测试程序。许多在线测试都是由工程师们实现的,而他们并非是受过训练经验丰富的统计学家。测试做对的时候很容易解析,但在他们的设计、实现、记
录和解析上又很容易犯错。

所以非常需要一个在线现场测试工具。

关于A/B测试

A/B测试是一种新兴的网页优化方法,可以用于增加转化率注册率等网页指标。使用A/B测试首先需要建 立一个测试页面(variation
page),这个页面可能在标题字体、背景颜色、措辞等方面与原有页面(control
page)有所不同,然后将这两个页面以随机的方式同时推送给所有浏览用户。接下来分别统计两个页面的用户转化率,即可清晰的了解到两种设计的优劣。(摘
百度百科