Aula 13: Testes de Permutação

O acaso como modelo nulo

Materiais da aula

Slides

Construção do teste de permutação em uma campanha A/B real.

Abrir slides

Notebook

Análise reprodutível, simulação da distribuição nula e exercícios.

Abrir notebook

Base de dados de apoio

Campanha A/B com anúncio, PSA, conversão e exposição registrada.

Abrir base

Objetivos

  • descrever e auditar uma base de experimento A/B;
  • formular hipóteses nula e alternativa;
  • construir uma distribuição nula por permutação;
  • calcular valores-p unilateral e bilateral;
  • distinguir significância estatística e importância prática;
  • reconhecer as condições de validade do teste.

Estudo de caso

A base Marketing A/B Testing compara a conversão de 588.101 usuários expostos a um anúncio comercial ou a um PSA. A aula pergunta se a diferença observada de conversão pode ser explicada apenas pela atribuição aleatória dos grupos.

Bibliografia da aula

Bibliografia principal

  • Adhikari, DeNero e Wagner, Seção 12.1 — A/B Testing: hipóteses, estatística, permutação dos rótulos e valor-p.
  • Adhikari, DeNero e Wagner, Seção 12.2 — Causality: interpretação causal de experimentos randomizados.
  • Çetinkaya-Rundel e Hardin, Introduction to Modern Statistics, capítulos de testes por randomização: distribuição nula e inferência baseada em simulação.

Bibliografia complementar