Pode também, por exemplo, testar se o campo de busca torna-se mais eficiente se mostrado na direita ou na esquerda sem ter que gastar recursos extras: basta publicar ambas as versões, analisar a métrica escolhida por um tempo definido e ver quem se sai melhor.

Simples? Manualmente, não. Você teria que criar mecanismos para que versões diferentes sejam oferecidas igualmente para uma amostragem de usuários para que os resultados sejam consistentes, e teria que analisar métricas em diferentes lugares para chegar a conclusões sólidas. Se adicionar mais alguma variável como, por exemplo, se a área de perguntas frequentes é mais acessada acima ou abaixo da rolagem apenas quando o usuário é novo no seu serviço, tais análises ficam ainda mais complexas.

Eis que entra o Google Analytics e sua ferramenta de testes A/B. Após a configuração do serviço, você cadastra as variações de uma mesma página, qual métrica deseja melhorar e qual o percentual de assertividade que você deseja. O mecanismo do Google Experiments se encarregará de exibir tais versões, priorizando aquela que tem os melhores resultados para aumentar a conversão. Cabe a você acompanhar os testes e a performance das páginas em um dashboard único, e aguardar o final do teste para decidir qual mudança será implementada. Tudo isso é possível através do Multi-Armed Bandit, uma heurística do Google que possibilita estatisticamente determinar um vencedor entre mais de uma versão de forma muito mais rápida que normalmente. Essa heurística está ligada por padrão, mas pode ser desabilitada em casos específicos em que existam inteferências externas que possam atrapalhar a análise.

Os resultados de um teste A/B indicam a forma mais eficiente de exibir uma ação ou produto direto com o público-alvo. Em alguns momentos certas partes de um site ou serviço podem oferecer métricas não satisfatórias, e um teste A/B bem aplicado oferece números consolidados que podem ajudar a aumentar a conversão de um produto.