Aula 15: Poder e Múltiplos Testes
Detectar efeitos sem fabricar descobertas
Materiais da aula
Slides
Poder, bootstrap sob hipóteses alternativas e controle de múltiplos testes.
Material de apoio
Análise reproduzível do experimento Cookie Cats, com simulações e exercícios.
Base de dados de apoio
Experimento Cookie Cats com duas posições de barreira e métricas de retenção.
Objetivos
- construir \(H_0\) por permutação e bootstrap recentralizado;
- compreender por que o bootstrap usual representa naturalmente \(H_A\);
- definir e estimar poder para alternativas específicas;
- relacionar efeito, amostra, nível de significância e poder;
- quantificar a inflação de falsos positivos;
- escolher entre controle de FWER e FDR.
Estudo de caso
O experimento Cookie Cats compara duas posições para uma barreira no jogo. A retenção em 7 dias é a métrica primária; retenção em 1 dia e rodadas permitem discutir famílias de hipóteses e multiplicidade.
Bibliografia da aula
Bibliografia principal
- Renato Assunção, Fundamentos Estatísticos para Ciência da Computação, seções sobre erros tipo I e II, tamanho amostral e poder.
- James et al., An Introduction to Statistical Learning, capítulo de testes múltiplos: famílias de hipóteses, FWER, FDR e procedimentos de correção.
- Çetinkaya-Rundel e Hardin, Introduction to Modern Statistics, capítulos de testes de hipóteses: nível de significância, poder e consequências de decisões repetidas.
Bibliografia complementar
- Sture Holm, A Simple Sequentially Rejective Multiple Test Procedure: procedimento de Holm e controle de FWER.
- Yoav Benjamini e Yosef Hochberg, Controlling the False Discovery Rate: definição de FDR e procedimento BH.
- Bradley Efron e Robert Tibshirani, An Introduction to the Bootstrap: bootstrap sob a distribuição empírica e construção de distribuições nulas por recentralização.
Os métodos de Holm, BH e a distinção formal entre FWER e FDR exigem bibliografia complementar; os livros introdutórios da disciplina oferecem a base de testes e poder, mas não cobrem todos esses procedimentos com o mesmo detalhe.