Aula 15: Poder e Múltiplos Testes
Detectar efeitos sem fabricar descobertas
Materiais da aula
Slides
Permutação estratificada, múltiplos testes e poder por simulação.
Material de apoio
Guia de estudo reproduzível, com exemplo estratificado completo, simulações e exercícios.
Base de dados de apoio
Experimento Cookie Cats com duas posições de barreira e métricas de retenção.
Objetivos
- executar e interpretar um teste de permutação estratificado;
- compreender por que múltiplos testes aumentam falsos positivos;
- distinguir controle de FWER e FDR;
- comparar Bonferroni, Holm e Benjamini–Hochberg;
- estimar poder usando permutação sob \(H_0\) e bootstrap sob \(H_A\).
Estudo de caso
O experimento Cookie Cats compara duas posições para uma barreira no jogo. Uma extensão didática por plataforma apresenta a permutação estratificada. A retenção em 7 dias é a métrica primária; as demais medidas introduzem o problema dos múltiplos testes. O poder é estimado comparando a distribuição nula por permutação com uma distribuição alternativa por bootstrap.
Bibliografia da aula
Bibliografia principal
- Renato Assunção, Fundamentos Estatísticos para Ciência da Computação, seções sobre testes de randomização, erros tipo I e II, tamanho amostral e poder.
- James et al., An Introduction to Statistical Learning, capítulo de testes múltiplos: famílias de hipóteses, FWER, FDR e procedimentos de correção.
- Çetinkaya-Rundel e Hardin, Introduction to Modern Statistics, capítulos de testes de hipóteses: nível de significância, poder e consequências de decisões repetidas.
Bibliografia complementar
- Sture Holm, A Simple Sequentially Rejective Multiple Test Procedure: procedimento de Holm e controle de FWER.
- Yoav Benjamini e Yosef Hochberg, Controlling the False Discovery Rate: definição de FDR e procedimento BH.
- Bradley Efron e Robert Tibshirani, An Introduction to the Bootstrap: bootstrap sob a distribuição empírica e construção de distribuições nulas por recentralização.
Os métodos de Holm, BH e a distinção formal entre FWER e FDR exigem bibliografia complementar; os livros introdutórios da disciplina oferecem a base de testes e poder, mas não cobrem todos esses procedimentos com o mesmo detalhe.