Teste A/B: o que é e como o Sonar mede

Sem teste, você troca a página ou o checkout e compara com a semana passada. Só que mudou o dia, mudou o público, mudou o anúncio. A comparação mente. No teste A/B as duas versões rodam ao mesmo tempo, com o mesmo tráfego, e a diferença que sobra é da versão.

O Sonar cuida de três coisas sozinho: divide as pessoas entre as versões, mantém cada pessoa na versão que caiu (ela não troca ao recarregar) e carimba a venda com o braço de origem, pra atribuição não se perder no meio do caminho.

Na hora de criar, você escolhe onde o tráfego se divide:

1. 1Na presell: páginas diferentes, mesma oferta. Divide na entrada e o link vai no anúncio.
2. 2No checkout: mesmas páginas, checkouts diferentes. Divide no clique do botão e o link vai no botão Comprar.

Nos dois tipos, o Sonar te devolve um link /go. É ele que faz o sorteio: a pessoa clica, o Sonar decide o braço dela, carimba e manda pro destino. Sem esse link no lugar certo, o teste não mede nada — o tráfego passa por fora.

1. 1Presell: o /go vai no destino do anúncio.
2. 2Checkout: o /go vai no botão de compra do seu site.

Um teste ativo por projeto, de cada vez. Não é limite de plano: é pra amostra não se misturar. Se duas divisões acontecem ao mesmo tempo no mesmo funil, você não sabe mais qual mudança causou o quê.

1. 1Quer testar outra coisa? Encerre o teste atual primeiro.
2. 2Tem mais de um produto? Use um projeto por produto — aí cada um roda o seu teste.

O Sonar não olha só quantos compraram. Ele compara o que cada braço rendeu:

1. 1Conversão do funil: compradores divididos pelos cliques no link do teste. Enquanto ainda não houver clique carimbado, o Sonar usa as visitas como base.
2. 2ARPU: o valor médio que cada comprador daquele braço deixou.
3. 3Receita: front mais upsells, o dinheiro que entrou de verdade naquele braço.

Pra olhar em detalhe, use a Lente do teste dentro do Funil: ela filtra o funil inteiro por braço (Todos, Braço A, Braço B) em vez de mostrar a média dos dois.

1. 1Encerrar: você declara o vencedor e todo o tráfego passa a ir pra ele. O Sonar pede confirmação.
2. 2Reabrir: se encerrou cedo demais, o botão Reabrir volta a dividir o tráfego. Encerrar não é uma porta de mão única.
3. 3Remover: apaga o teste. Aí sim não tem volta.

Mesmo com os 100 compradores, deixe rodar até o resultado parar de oscilar. Número que ainda muda de dia pra dia não é vencedor, é ruído.

Criei o teste e não aparece nenhum clique.

O /go não está no lugar certo. No presell ele precisa ser o destino do anúncio; no checkout, o link do botão de compra. Se o tráfego não passa pelo /go, o Sonar não vê o teste.

Posso mudar o destino de um braço no meio do teste?

Pode, e o /go continua o mesmo. Mas lembre que os números de antes e de depois viram médias de coisas diferentes — o ideal é anotar quando trocou.

Um braço está com muito mais gente que o outro.

Confira o peso de cada braço. Se você quer comparação limpa, use Dividir igual (50/50).

As vendas não estão sendo atribuídas ao braço.

Quase sempre é o checkout do braço que o Sonar não reconhece, ou o gateway daquele checkout que não está cadastrado no projeto. Confira as duas coisas.

Posso rodar dois testes ao mesmo tempo?

No mesmo projeto, não — um ativo por vez, pra amostra não se misturar. Em projetos diferentes, sim.

Agora escolha o tipo que você vai montar: