No jogo, uma porta interrompe o avanço até o jogador esperar ou realizar uma compra.
Controle: primeira porta no nível 30.
Tratamento: mover a porta para o nível 40.
Pergunta: adiar a interrupção aumenta engajamento e retenção?
Os grupos têm tamanhos semelhantes
Código do gráfico
counts = df["grupo"].value_counts().reindex(order)counts.plot.bar(color=[ORANGE, BLUE])plt.ylabel("Jogadores")plt.title("Os grupos têm tamanhos muito semelhantes")
Três métricas, três histórias possíveis
Código do gráfico
ret = df.groupby("grupo")[["retention_1", "retention_7"]].mean().mul(100)ret.T.plot.bar(color=[ORANGE, BLUE])plt.ylabel("Retenção (%)")plt.title("A porta no nível 30 retém um pouco mais")
A análise descritiva já orienta escolhas
Métrica
Porta 30
Porta 40
Diferença 30 − 40
Retenção em 1 dia
44,82%
44,23%
+0,59 p.p.
Retenção em 7 dias
19,02%
18,20%
+0,82 p.p.
Média de rodadas
52,46
51,30
+1,16
Diferenças pequenas podem ser importantes — ou apenas ruído.
for effect in effects: control = rng.binomial(n, p0, size=R) / n treatment = rng.binomial(n, p0 + effect, size=R) / n power = np.mean(test_rejects(treatment - control))
Três maneiras de aumentar poder
aumentar a amostra;
reduzir a variabilidade com blocos ou covariáveis pré-tratamento;
aceitar um \(\alpha\) maior.
Aumentar o efeito não é uma opção estatística: ele pertence ao fenômeno e à intervenção.
\(V\) não é observado: não sabemos diretamente quais rejeições são falsas. Os procedimentos controlam propriedades de \(V\)ao longo de repetições do estudo.
FWER: nenhum falso positivo na família
FWER (family-wise error rate) é:
\[
\operatorname{FWER}=P(V\geq1).
\]
Ela responde: “qual é a chance de cometer pelo menos um falso positivo nesta família?”
Se \(m\) testes independentes usam nível \(\alpha\), todos sob \(H_0\):
\[
\operatorname{FWER}=1-(1-\alpha)^m.
\]
Com \(m=100\) e \(\alpha=0{,}05\), a FWER chega a aproximadamente 99,4%.
A inflação cresce depressa
Código do gráfico
m = np.arange(1, 101)fwer =1- (1-.05)**mplt.plot(m, fwer)
Bonferroni controla a família
Bonferroni divide o “orçamento de erro” \(\alpha\) entre os \(m\) testes:
\[
\alpha^*=\frac{\alpha}{m}
\]
Rejeite \(H_i\) quando \(p_i\leq\alpha/m\). Equivalentemente:
\[
p_i^{adj}=\min(mp_i,1).
\]
Exemplo: com \(m=10\) e \(\alpha=0{,}05\), cada teste precisa de \(p_i\leq0{,}005\).
Por que Bonferroni funciona?
Se \(A_i\) é o evento “o teste \(i\) produz um falso positivo”, então:
Ela responde: “entre as descobertas que eu anunciar, qual fração falsa aceito em média?”
Controlar FDR em 5% não significa que cada resultado tenha 5% de chance de ser falso, nem garante exatamente 5% de falsos em uma realização.
É apropriado quando buscamos várias descobertas e aceitamos algumas falsas em troca de maior poder.
O procedimento de Benjamini–Hochberg
Para controlar FDR no nível \(q\):
ordene \(p_{(1)}\leq\cdots\leq p_{(m)}\);
calcule os limiares \((i/m)q\);
encontre o maior\(k\) tal que \(p_{(k)}\leq(k/m)q\);
rejeite \(H_{(1)},\ldots,H_{(k)}\).
Não pare no primeiro valor-p que falha: BH procura o maior índice que satisfaz a desigualdade.
O controle clássico vale sob independência e certas formas de dependência positiva. Dependências arbitrárias exigem métodos mais conservadores, como Benjamini–Yekutieli.
O mesmo exemplo com BH
Com \(q=0{,}05\):
\(i\)
\(p_{(i)}\)
\((i/5)q\)
satisfaz?
1
0,003
0,010
sim
2
0,011
0,020
sim
3
0,018
0,030
sim — maior \(k\)
4
0,041
0,040
não
5
0,200
0,050
não
BH rejeita as três primeiras hipóteses. Ele faz mais descobertas porque controla FDR, não a probabilidade de qualquer erro.
Qual erro cada método controla?
Selecione as associações corretas.
Bonferroni controla FWER dividindo \(\alpha\) pelo número de testes
Holm controla FWER com um procedimento sequencial
Benjamini–Hochberg controla FDR
Todos os três métodos controlam exatamente a mesma quantidade
