Aula 14: Permutação além do caso básico
Estatísticas, estratos e validade
Materiais da aula
Slides
Extensões para métricas assimétricas, estratos, pares e clusters.
Material de apoio
Capítulo de estudo com estatísticas robustas, estratos, pares, clusters, studentização, multiplicidade e hipóteses nulas.
Base de dados de apoio
A mesma campanha A/B, agora analisada com estratos e estatísticas robustas.
Objetivos
- alinhar a estatística à pergunta científica;
- permutar dentro de blocos, pares ou clusters quando necessário;
- reconhecer variáveis pós-tratamento e interferência;
- controlar multiplicidade em análises de subgrupo;
- relacionar efeito, poder, tamanho amostral e regra de parada.
Continuidade do estudo de caso
A campanha permanece como fio condutor. Conversão, exposições, dias e horas são usados para mostrar por que o desenho experimental determina quais trocas são válidas e quais conclusões podem ser causais.
Bibliografia da aula
Bibliografia principal
- Adhikari, DeNero e Wagner, Seção 12.1 — A/B Testing: teste de permutação básico e alinhamento da estatística à hipótese alternativa.
- Adhikari, DeNero e Wagner, Seção 12.2 — Causality: atribuição aleatória, grupos de tratamento e controle e interpretação causal.
Bibliografia complementar
- Phillip Good, Permutation, Parametric, and Bootstrap Tests of Hypotheses: permutação restrita, testes pareados e desenhos mais complexos.
- David A. Freedman e David Lane, A Nonstochastic Interpretation of Reported Significance Levels: permutação em modelos com covariáveis.
- Ronald Fisher, The Design of Experiments: randomização, blocos e a relação entre desenho experimental e inferência válida.