O anúncio está associado a +0,77 ponto percentual de conversão.
Antes do teste: qual é o estimando?
Queremos a diferença entre as probabilidades de conversão que surgiriam se a população fosse exposta a:
\[
\Delta=p_{ad}-p_{psa}
\]
\(p_{ad}=P(Y=1\mid ad)\) e \(p_{psa}=P(Y=1\mid psa)\) são as probabilidades populacionais de conversão sob cada condição; \(\Delta\) é o contraste causal ou associativo de interesse, conforme o desenho permita. O estimando vem antes do algoritmo.
A hipótese nula
\[
H_0:p_{ad}=p_{psa}
\]
Sob \(H_0\), o rótulo ad ou psa não carrega informação sobre a conversão.
A hipótese alternativa
Se a pergunta foi definida antes dos dados:
\[
H_1:p_{ad}>p_{psa}
\]
Se qualquer diferença importa:
\[
H_1:p_{ad}\neq p_{psa}
\]
A estatística resume a evidência
Escolhemos:
\[
T=\widehat p_{ad}-\widehat p_{psa}
\]
\(\widehat p_g=n_g^{-1}\sum_{i:G_i=g}Y_i\) é a conversão observada no grupo \(g\). Assim, \(T\) é uma função dos resultados \(Y_i\) e dos rótulos \(G_i\); valores positivos favorecem o anúncio.
O que \(H_0\) autoriza trocar?
Se a atribuição foi aleatória e o tratamento não tem efeito, os rótulos de grupo são permutáveis.
Mantemos fixos:
os resultados observados;
os tamanhos dos grupos.
Embaralhamos apenas os rótulos.
Formalmente, sob trocaabilidade, para toda permutação admissível \(\pi\) dos rótulos, \((Y,G)\) e \((Y,\pi G)\) têm a mesma distribuição sob \(H_0\). O conjunto de permutações admissíveis deve reproduzir o mecanismo de atribuição.
Permutar quebra a associação
Código do gráfico
toy["grupo_permutado"] = rng.permutation(toy["grupo"])for col in ["grupo", "grupo_permutado"]: plt.scatter(range(len(toy)), toy["resultado"], c=toy[col].map(colors))
É a proporção de permutações tão favoráveis ao anúncio quanto o resultado observado.
\(T_{obs}\) usa os rótulos originais; \(T^{perm}\) usa uma atribuição permitida pelo desenho. A probabilidade é tomada sobre o mecanismo de permutação, mantendo os resultados fixos.
O valor-p bilateral
Para \(H_1:p_{ad}\neq p_{psa}\):
\[
p=P(|T^{perm}|\geq |T_{obs}|\mid H_0)
\]
As duas caudas contam porque diferenças negativas também contradizem a igualdade.
Uma ou duas caudas?
Código do gráfico
axes[0].fill_between(x, 0, y, where=x >= cutoff, color=ORANGE)axes[1].fill_between(x, 0, y, where=np.abs(x) >= cutoff, color=ORANGE)
Uma ou duas caudas?
A pergunta definida antes da análise é: “o anúncio altera a conversão em qualquer direção?”. Qual alternativa usar?
\(H_1:p_{ad}>p_{psa}\)
\(H_1:p_{ad}<p_{psa}\)
\(H_1:p_{ad}\neq p_{psa}\)
Escolher a cauda depois de observar o sinal
A direção deve ser escolhida antes
Escolher uma cauda depois de olhar o sinal observado reduz artificialmente o valor-p.
A hipótese alternativa é uma decisão de desenho, não um ajuste oportunista.
Nunca retorne valor-p exatamente zero
Com \(B\) permutações de Monte Carlo:
\[
\widehat p=\frac{1+\#\{T_b\text{ tão extremo quanto }T_{obs}\}}{B+1}
\]
A correção reconhece que a permutação observada também pertence ao espaço possível.
\(T_b\) é a estatística na permutação \(b\), \(B\) é o número de permutações e \(\#\{\cdot\}\) conta as que são pelo menos tão extremas quanto \(T_{obs}\). Os termos \(+1\) incluem a configuração observada e evitam um zero artificial.
