Aula 11: Testes de Hipóteses
Evidência, p-valores e decisões
Materiais da aula
Slides
Hipóteses, p-valores, erros e poder estatístico.
Material de apoio
Teste da taxa de atraso e exemplo A/B didático no contexto da Olist.
Base de dados de apoio
Pedidos da Olist usados para estudar atrasos, p-valores e poder.
Objetivos
- Formular hipótese nula e alternativa.
- Construir e interpretar uma distribuição nula.
- Calcular uma estatística de teste e um p-valor.
- Diferenciar significância estatística e importância prática.
- Interpretar erros tipo I e II.
- Relacionar poder, tamanho amostral e tamanho do efeito.
- Comparar teste exato, aproximação Normal e simulação.
- Estruturar um teste A/B a partir de uma mudança operacional.
Estudo de caso
A aula investiga se a taxa de pedidos entregues depois da data prevista excede um limite operacional de 8%. O conjunto completo permite simular tanto o comportamento do teste sob a hipótese nula quanto seu poder sob alternativas.
Ao final, a mesma métrica é usada em um experimento A/B didático: pedidos são randomizados entre o processo atual e um novo alerta preventivo de risco de atraso. A atribuição e os resultados desse experimento são simulados; eles não fazem parte da base histórica da Olist.
Pergunta da aula
Há evidência de que a taxa de atrasos excede 8%?
Em um experimento randomizado, um alerta preventivo reduziria essa taxa?
Conexão com exercícios
No notebook, compare p-valores calculados pela Binomial exata, pela aproximação Normal e por simulação. Depois altere o tamanho amostral e a taxa verdadeira para construir uma curva de poder. Por fim, formule e analise o exemplo A/B para duas proporções, separando evidência estatística de relevância operacional.
Bibliografia da aula
Bibliografia principal
- Adhikari, DeNero e Wagner, Capítulo 11 — Testing Hypotheses: hipótese nula, estatística de teste, distribuição nula, valor-p e decisão.
- Çetinkaya-Rundel e Hardin, Capítulo 16 — Inference for a Single Proportion: testes por bootstrap e modelo matemático para proporções.
- Renato Assunção, Fundamentos Estatísticos para Ciência da Computação, capítulos de testes de hipóteses: erros tipo I e II, significância e poder.
Bibliografia complementar
- American Statistical Association, Statement on Statistical Significance and P-Values: interpretação responsável de valores-p e distinção entre significância e importância científica.