Como distinguir uma coincidência interessante de uma relação de causa e efeito?
Alguns problemas atuais
Uma mudança de interface aumenta conversão?
Um lembrete aumenta entregas no prazo?
Um programa público melhora frequência escolar?
Um aumento de desemprego induz aumento de crimes?
Uma mudança no código deixou o sistema mais rápido?
O ciclo das notícias
Um estudo é divulgado com um resultado chamativo.
A manchete simplifica e generaliza o que o estudo realmente mostrou.
Meses depois, réplicas ou revisões corrigem — ou derrubam — o resultado original.
O público, em geral, só viu a primeira manchete.
Qual é o nosso problema?
Estudos estatísticos frequentemente perguntam como uma variável aleatória Y responde a mudanças em uma ou mais variáveis X.
X: intervenção, exposição ou característica.
Y: resultado observado.
Exemplos
Qual o efeito do design de uma página (X) na compra de produtos (Y)?
Qual o efeito de uma política educacional (X) na frequência escolar (Y)?
Qual o efeito de um lembrete (X) na entrega de listas (Y)?
Associação não é intervenção
Associação: quem recebeu X apresentou valores diferentes de Y.
Causalidade: mudar X, mantendo o restante comparável, mudaria Y.
Perguntas causais imaginam uma intervenção no mundo.
O contrafactual
Para uma mesma unidade i, definimos dois resultados potenciais:
\[Y_i(1)=\text{resultado se tratada}\]\[Y_i(0)=\text{resultado se não tratada}\]
O efeito individual seria \(Y_i(1)-Y_i(0)\).
O resultado que nunca vemos
Observamos apenas um dos dois cenários:
\[Y_i=T_iY_i(1)+(1-T_i)Y_i(0)\]
O outro é o contrafactual.
Um grupo de comparação tenta representar esse resultado ausente.
O problema fundamental
Não podemos observar a mesma pessoa, no mesmo instante, vacinada e não vacinada.
Por isso buscamos o efeito médio:
\[ATE=\mathbb{E}[Y(1)-Y(0)]\]
ATE — Average Treatment Effect (Efeito Médio do Tratamento): média, na população, da diferença entre o resultado com tratamento e o resultado sem tratamento.
O ciclo de trabalho do cientista de dados
01
Formular perguntas
→
02
Adquirir dados
→
03
Explorar e visualizar
→
04
Inferir e prever
→
05
Comunicar e decidir
↖ novas evidências geram novas perguntas
Formular perguntas
Qual problema queremos resolver?
Quais são nossas hipóteses?
Que comparação seria convincente?
O que os dados podem ou não sustentar?
Qual o problema que queremos resolver?
O padrão ouro da ciência de dados é a causalidade.
Queremos comparar o que aconteceu com o que teria acontecido sem a intervenção.
Perguntas causais
Chocolate faz bem para a saúde?
Carnaval faz bem para a economia?
O release 5.2 deixou o código mais rápido?
Um lembrete aumenta entregas no prazo?
Todas tentam estabelecer uma noção de causa e efeito.
Causa e Efeito
Em sistemas físicos, causa e efeito vêm de interações e leis.
Em ciência de dados, raramente temos um modelo completo do mundo.
Quando possível, fazemos experimentos.
Fisher transformou comparação em desenho
Ronald A. Fisher (1890–1962)
Ao trabalhar com experimentos agrícolas, Fisher percebeu que não bastava comparar colheitas: era preciso planejar como a comparação seria criada.
O desenho do estudo vem antes da análise dos dados.
Fisher
Ronald Fisher é uma figura central da estatística moderna.
Em The Design of Experiments, consolidou ideias como:
controle;
randomização;
replicação.
Experimento
Pergunta: reagentes alteram a colheita?
Cada quadrado representa uma parcela. Os tratamentos são distribuídos pelo campo para separar seu efeito das diferenças naturais do terreno.
Ideia central: organizar onde medir é parte do método estatístico.
Experimento
Queremos estudar o efeito de um tratamento.
Controle
Não recebe a intervenção.
Representa o que aconteceria sem o tratamento.
Tratamento
Recebe a intervenção.
Representa o resultado com o tratamento.
Controle, randomização e replicação
Controle: todo o resto deve ficar o mais parecido possível.
Randomização: a escolha dos grupos não deve seguir um viés.
Replicação: precisamos de várias unidades para observar variabilidade.
Estudos Randomizados
Do inglês Randomized Controlled Trial (RCT).
Parte do grupo recebe o tratamento.
Outra parte fica no controle.
Depois comparamos o resultado.
Um experimento que mudou a saúde pública
Em 1954, o ensaio da vacina de Jonas Salk contra a poliomielite envolveu cerca de 1,8 milhão de crianças.
A vacina de vírus inativado previne pólio paralítica?
Dois desenhos no mesmo estudo
Placebo randomizado
Vacina e placebo foram atribuídos em desenho cego.
Controle observado
Em outras regiões, crianças vacinadas foram comparadas às não vacinadas.
O primeiro desenho produzia grupos mais comparáveis.
Por que o controle observado preocupa?
Famílias que autorizavam a vacinação poderiam diferir das demais em:
renda e acesso à saúde;
exposição ao vírus;
procura por diagnóstico;
condições anteriores de saúde.
Randomizar reduz esse viés de seleção.
O resultado do ensaio
Os resultados foram anunciados em 12 de abril de 1955.
No estudo com placebo, a eficácia contra pólio paralítica foi de cerca de 72%.
A vacina foi rapidamente licenciada.
Exemplo: lembrete no Moodle
Enviar um lembrete dois dias antes do prazo aumenta entregas no prazo?
Esse exemplo substitui o ensaio de vacina por um cenário mais próximo da disciplina.
Desenho do experimento
%%{init: {"themeVariables": {"fontSize": "26px"}, "flowchart": {"nodeSpacing": 54, "rankSpacing": 58, "useMaxWidth": true}}}%%
flowchart LR
A["Turma"] --> B["Sorteio"]
B --> C["Controle"]
B --> D["Lembrete"]
C --> E["Entregou<br/>no prazo?"]
D --> F["Entregou<br/>no prazo?"]
E --> G["Comparação"]
F --> G
Os grupos ficaram parecidos?
Controle: listas anteriores
2,4
Lembrete: listas anteriores
2,5
Controle: créditos
20,1
Lembrete: créditos
20,6
Primeiro olhamos se há desequilíbrios óbvios.
Resultado observado
Controle
62%
Lembrete
75%
Diferença observada: 13 pontos percentuais.
Problemas do experimento
O resultado vale em outros semestres?
O lembrete ajuda todos os estudantes igualmente?
Houve vazamento entre grupos?
Entregar no prazo mede aprendizagem?
O efeito é grande o suficiente para importar?
Quando não podemos fazer estudo controlado?
Como prosseguir?
Muitas perguntas importantes exigem estudos observacionais.
Ciência observacional
Uma ciência observacional é aquela em que não é possível construir experimentos controlados na área em estudo.
Em muitos problemas, temos apenas dados gerados pelo mundo.
Observação
Exemplo:
indivíduos: população de interesse;
tratamento: comer chocolate;
efeito: doença cardíaca.
Então é impossível ter insights causais?
Não.
Mas, sem controle experimental, precisamos lidar com variáveis de confusão.
Variáveis de confusão
Afetam tanto o tratamento quanto o resultado.
Idade pode afetar dieta e saúde.
Renda pode afetar acesso a saúde e hábitos.
Exercício pode afetar dieta e doença cardíaca.
Correlação e Causalidade
Correlação não é causalidade.
Mas boa parte do trabalho em ciência de dados começa observando associações. Quando bem desenhado, esse trabalho pode sugerir hipóteses causais.
Antes de John Snow…
John Snow
John Snow, c. 1856. Wikimedia Commons, domínio público.
Médico inglês, frequentemente associado ao início da epidemiologia moderna.
Viveu entre 1813 e 1858.
Também realizou contribuições importantes para a anestesiologia e para o estudo da transmissão da cólera.
Londres na época
Londres, 1852
A charge A Court for King Cholera, da revista Punch, retrata aglomeração, esgoto e pobreza como parte do cotidiano urbano.
O ambiente oferecia muitas explicações plausíveis — e confundidas entre si.
Londres na época
Saneamento precário.
Surtos graves de cólera.
Teoria miasmática como explicação dominante.
Teoria Miasmática
A origem das doenças seriam os miasmas.
Em outras palavras: odores ruins.
Soluções propostas atacavam o cheiro, não necessariamente a causa.
O trabalho de detetive
O cientista de dados trabalha com evidências disponíveis.
Às vezes, a variável mais visível é apenas um confundidor.
No caso da cólera, odor era um sinal do ambiente, mas não a causa principal.
John Snow
A doença era intestinal.
A água poderia ser parte do mecanismo.
Pequenas observações levaram a uma hipótese forte.
Mapa de John Snow
Cada pequena barra registra uma morte por cólera.
As barras se concentram ao redor da bomba da Broad Street.
O mapa transforma localização em evidência.
Lembrando de Fisher
Precisamos de grupo de controle.
Precisamos de grupo de tratamento.
Mas não podemos mudar pessoas de local.
Snow procurou uma comparação justa dentro dos dados observacionais.
Desenhando a confusão
%%{init: {"themeVariables": {"fontSize": "28px"}, "flowchart": {"nodeSpacing": 56, "rankSpacing": 62, "useMaxWidth": true}}}%%
flowchart LR
C["Pobreza e<br/>condições urbanas"]:::confounder
A["Companhia ou<br/>fonte da água"]:::exposure
M["Qualidade<br/>da água"]:::mediator
Y["Cólera"]:::outcome
A -->|altera| M
M -->|afeta| Y
C -.->|influencia| A
C -.->|afeta o risco| Y
classDef confounder fill:#fff0e8,stroke:#d95f02,stroke-width:3px,color:#17324d
classDef exposure fill:#eef3f5,stroke:#0f6b78,stroke-width:3px,color:#17324d
classDef mediator fill:#eef3f5,stroke:#0f6b78,stroke-width:3px,color:#17324d
classDef outcome fill:#e9f5f1,stroke:#16826c,stroke-width:3px,color:#17324d
linkStyle 0,1 stroke:#17324d,stroke-width:3px
linkStyle 2,3 stroke:#d95f02,stroke-width:3px,stroke-dasharray:8 6
Comparar as companhias exige casas semelhantes em pobreza e condições urbanas.
O experimento de John Snow
01
Casas misturadas na mesma região de Londres
↙ ↘
02A
Southwark & Vauxhall captação mais contaminada
02B
Lambeth captação mais limpa
↘ ↙
03
Comparar mortalidade por cólera entre as duas redes de abastecimento
Como as redes atendiam casas próximas, a companhia de água criou uma comparação próxima de um experimento natural.
A Tabela de John Snow
Fonte de água
Casas
Mortes por cólera
Mortes por 10.000 casas
Southwark & Vauxhall
40.046
1.263
315
Lambeth
26.107
98
37
Resto de Londres
256.423
1.422
59
Visualizando a diferença
S&V
315
Lambeth
37
Resto de Londres
59
Mortes por 10.000 casas.
Importância de John Snow
A cólera continuou letal por muitos anos.
A hipótese da água demorou a convencer.
A ciência é lenta, mas acumula evidências.
Níveis de evidência científica
Sínteses · revisões sistemáticas e meta-análises
Experimentos randomizados · comparação criada pelo sorteio
Experimentos não randomizados · comparação controlada, mas vulnerável à seleção
Estudos observacionais comparativos · ajuste e desenho tentam reduzir confundimento
Séries e relatos de casos · descrevem sinais, sem contrafactual forte
Opinião e laboratório · mecanismo e plausibilidade, ainda longe do efeito na população
Atenção: subir na hierarquia ajuda, mas qualidade, transparência e contexto continuam essenciais.
Evidência científica em movimento
In vitro→Observacional→Randomizado→Meta-análise
RCT
Um ensaio randomizado controlado divide indivíduos aleatoriamente entre controle e tratamento.
Benefícios:
comparação mais justa;
raciocínio matemático sobre diferenças entre grupos;
conclusões mais defensáveis sobre efeito.
Checklist causal
Qual é a unidade, o tratamento e o resultado?
Qual é o contrafactual relevante?
Como os grupos foram formados?
Que confundidores permanecem?
Como tratamento e resultado foram medidos?
Para quem e onde a conclusão vale?
Conclusões
O principal trabalho do cientista de dados é fazer boas perguntas.
Causalidade é central, mas nem sempre é possível fazer experimentos.
Estudos observacionais exigem cuidado com variáveis de confusão.
Bons dados, bom desenho e boas visualizações ajudam a construir evidência.
Referências e leitura
Computational and Inferential Thinking, capítulo 2: Causality and Experiments.
Judea Pearl e Dana Mackenzie. The Book of Why, 2018.
Miguel Hernán e James Robins. Causal Inference: What If, 2020.
