Limitações e vieses nos dados

Fase 2 — Wrangling avançado | Pré-requisitos: Aulas 0 a 11 | Duração estimada: 70 minutos

Introdução

Você aprendeu a coletar, avaliar e limpar dados. Mas há uma questão mais profunda que essas três etapas não resolvem: mesmo dados tecnicamente limpos podem levar a conclusões erradas se o processo de coleta introduziu distorções sistemáticas.

Esta aula trata de limitações e vieses — não os erros de digitação e valores ausentes que você corrige com pandas, mas os problemas estruturais que afetam o que os dados representam sobre o mundo real. São problemas que não aparecem num df.info() e que código nenhum corrige automaticamente. A única defesa é reconhecê-los, documentá-los e ser honesto sobre o que sua análise pode e não pode concluir.

Esta é uma das aulas mais importantes do curso porque toca diretamente na diferença entre uma análise tecnicamente correta e uma análise intelectualmente honesta.

O que são vieses em dados

No contexto de análise de dados, viés não significa preconceito no sentido moral, embora os dois estejam frequentemente relacionados. Viés significa distorção sistemática: uma diferença consistente entre o que os dados dizem e o que realmente acontece no mundo.

A palavra "sistemático" é a chave. Erros aleatórios — como valores digitados errados por distração — tendem a se cancelar com amostras grandes. Vieses são direcionais: eles consistentemente superestimam ou subestimam um valor, incluem consistentemente mais de um tipo de caso do que outro, ou medem consistentemente algo diferente do que pretendem medir.

O resultado é que mais dados não resolve viés. Uma amostra viesada de um milhão de observações é pior do que uma amostra não-viesada de mil, porque o viés maior é mais preciso na direção errada.

Tipos de viés

Viés de seleção

Viés de seleção ocorre quando os casos que entram no dataset não são representativos da população que você quer estudar. Os dados existem porque alguns casos foram selecionados e outros não, e essa seleção não foi aleatória.

O exemplo histórico mais famoso é a pesquisa de intenção de voto de 1936 nos Estados Unidos, conduzida pela Literary Digest. A revista enviou 10 milhões de questionários e recebeu 2,4 milhões de respostas — uma amostra enorme para os padrões da época. A previsão foi que o candidato republicano ganharia com folga. O candidato democrata ganhou em landslide. O problema foi a seleção da amostra: os questionários foram enviados para assinantes da revista, proprietários de automóveis e usuários de telefone — grupos que em 1936 eram predominantemente ricos e republicanos, não representativos do eleitorado geral.

Exemplos modernos de viés de seleção:

Dados de redes sociais. Se você analisa opiniões coletadas do Twitter sobre um produto, sua amostra inclui apenas pessoas que usam Twitter, que são engajadas o suficiente para comentar e que escolheram comentar — um subconjunto muito específico da população.

Dados de clientes ativos. Se você analisa satisfação com base em dados de clientes que continuam comprando, está excluindo automaticamente os insatisfeitos que pararam de comprar. Sua conclusão vai superestimar a satisfação.

Dados hospitalares. Se você estuda a gravidade de uma doença usando dados de hospitais, sua amostra inclui apenas quem foi hospitalizado — os casos leves, que ficaram em casa, não estão representados. Você vai superestimar a gravidade média.

Dados de pesquisa online. Pesquisas respondidas voluntariamente tendem a atrair pessoas com opiniões fortes sobre o tema — neutros e indiferentes raramente se dão ao trabalho de responder.

# Exemplo de como detectar possível viés de seleção
# Comparar o perfil dos clientes no dataset com dados externos

# Se temos dados do IBGE sobre a distribuição de renda no Brasil
distribuicao_brasil = {'baixa': 0.40, 'media': 0.45, 'alta': 0.15}

# E a distribuição no nosso dataset de clientes
distribuicao_dataset = df['faixa_renda'].value_counts(normalize=True)
print("Distribuição no dataset vs. Brasil:")
for faixa, pct_brasil in distribuicao_brasil.items():
    pct_dataset = distribuicao_dataset.get(faixa, 0)
    print(f"  {faixa}: dataset={pct_dataset:.1%}, Brasil={pct_brasil:.1%}, "
          f"razão={pct_dataset/pct_brasil:.2f}x")

Viés de sobrevivência

Viés de sobrevivência é um caso especial de viés de seleção onde sua amostra inclui apenas os "sobreviventes" — casos que chegaram ao fim de algum processo — e exclui os que saíram no meio do caminho.

O exemplo clássico é da Segunda Guerra Mundial. Estatísticos analisaram os danos em aviões que voltaram de missões de combate para decidir onde reforçar a blindagem. Os aviões voltados tinham danos concentrados nas asas e fuselagem, e pouco danos nos motores. A conclusão intuitiva seria reforçar onde havia mais danos. Abraham Wald chegou à conclusão oposta: os aviões com danos nos motores não voltavam. Os danos visíveis nos sobreviventes mostravam exatamente onde os aviões podiam ser atingidos e sobreviver — o que precisava de reforço eram os pontos sem danos nos sobreviventes.

Exemplos modernos:

Análise de empresas bem-sucedidas. Livros sobre "empresas excelentes" analisam o que elas têm em comum. Mas as empresas que faliram por fazer as mesmas coisas não estão na amostra. Correlação entre característica X e sucesso pode ser ilusória se empresas fracassadas também tinham X.

Fundos de investimento. A performance média de fundos de investimento parece melhor do que é porque fundos com performance ruim são fechados e desaparecem das estatísticas históricas.

Currículos de sucesso. Estudar as características de pessoas bem-sucedidas para identificar o que as levou ao sucesso ignora que muitas pessoas com as mesmas características não tiveram sucesso.

# Detectar possível viés de sobrevivência
# Exemplo: análise de churn em clientes

# Se seu dataset tem apenas clientes ativos (os que 'sobreviveram')
clientes_ativos = df[df['status'] == 'ativo']

# Você está excluindo clientes que cancelaram
# Para análise de satisfação, isso é viés de sobrevivência
n_cancelados = df[df['status'] == 'cancelado'].shape[0]
n_total = len(df)
print(f"Clientes cancelados excluídos da análise: {n_cancelados} ({n_cancelados/n_total:.1%})")
print("Atenção: análise de satisfação com apenas clientes ativos pode superestimar satisfação")

Viés de confirmação nos dados

Viés de confirmação acontece quando o processo de coleta foi projetado, consciente ou inconscientemente, para encontrar evidências de uma conclusão prévia.

Isso pode acontecer na escolha das perguntas de uma pesquisa (perguntas sugestivas que induzem respostas), na seleção de qual período analisar (escolher o período que suporta a hipótese), na escolha de qual métrica reportar (escolher a métrica que confirma o resultado desejado) ou na decisão de quais outliers remover (remover os que contradizem a hipótese).

Em análise de dados, o equivalente é o que a Aula 1 chamou de HARKing: fazer a análise, ver o resultado, e então formular a hipótese que o resultado confirma. Parece análise científica mas é circular.

Viés de medição

Viés de medição ocorre quando o instrumento de coleta mede consistentemente de forma errada. A régua está descalibrada. O sensor tem deriva. A pergunta da pesquisa é ambígua e interpretada de formas diferentes por grupos diferentes.

Exemplos:

Efeito do entrevistador. Pesquisas presenciais sobre temas sensíveis (renda, comportamento ilegal, saúde) produzem respostas diferentes dependendo de quem faz a entrevista. Pessoas tendem a dar respostas socialmente aceitáveis para o entrevistador percebido, não necessariamente verdadeiras.

Viés de resposta desejável. Perguntas como "você lê regularmente?" ou "você pratica exercícios?" produzem superestimativa porque as pessoas respondem o que consideram positivo, não o que fazem de fato.

Inconsistência temporal. Um instrumento de medição que muda ao longo do tempo (uma pergunta reformulada numa pesquisa anual, um sensor recalibrado) produz aparentes tendências que são artefatos da mudança do instrumento, não mudanças reais.

Viés de variável de confusão

Uma variável de confusão é uma terceira variável que está relacionada com as duas que você está estudando e pode criar a aparência de uma relação entre elas.

Exemplo clássico: há uma correlação positiva forte entre venda de sorvetes e taxa de afogamentos. Isso não significa que sorvetes causam afogamentos. A variável de confusão é temperatura: dias quentes levam as pessoas tanto a comprar sorvete quanto a nadar, aumentando as chances de afogamento.

# Exemplo de variável de confusão em dados de vendas
# Aparente relação entre dia da semana e ticket médio
ticket_por_dia = df.groupby('dia_semana')['valor'].mean()
print("Ticket médio por dia da semana:")
print(ticket_por_dia)

# Mas se controlarmos por categoria de produto
ticket_por_dia_categoria = df.groupby(['dia_semana', 'categoria'])['valor'].mean()
print("\nTicket médio por dia e categoria:")
print(ticket_por_dia_categoria.unstack())

# A diferença por dia pode desaparecer quando controlamos pela categoria
# Se fins de semana têm mais vendas de produtos caros, a diferença de ticket
# é explicada pela categoria, não pelo dia da semana

Viés de agregação (paradoxo de Simpson)

O paradoxo de Simpson ocorre quando uma tendência observada nos dados agregados desaparece ou se inverte quando os dados são separados por grupos.

import pandas as pd
import numpy as np

# Exemplo clássico: taxa de aprovação em dois departamentos
dados = pd.DataFrame({
    'departamento': ['A', 'A', 'B', 'B'],
    'genero': ['M', 'F', 'M', 'F'],
    'candidatos': [800, 200, 200, 800],
    'aprovados': [480, 80, 100, 200]
})

dados['taxa'] = dados['aprovados'] / dados['candidatos']

# Taxa agregada por gênero
total_por_genero = dados.groupby('genero').agg(
    total_candidatos=('candidatos', 'sum'),
    total_aprovados=('aprovados', 'sum')
)
total_por_genero['taxa'] = total_por_genero['total_aprovados'] / total_por_genero['total_candidatos']
print("Taxa agregada por gênero:")
print(total_por_genero[['taxa']].round(3))

# Taxa por departamento e gênero
print("\nTaxa por departamento e gênero:")
print(dados.pivot_table(values='taxa', index='departamento', columns='genero').round(3))

Neste exemplo clássico, a taxa agregada pode mostrar um gênero com menor aprovação, mas ao desagregar por departamento, aquele gênero tem taxa maior ou igual em todos os departamentos. A diferença agregada é explicada pelo fato de que os grupos se candidatam em proporções diferentes para departamentos com taxas de aprovação diferentes — não por discriminação no processo de seleção.

O paradoxo de Simpson é uma das razões pelas quais análises agregadas devem sempre ser validadas por análises desagregadas.

Limitações de representatividade

Além dos vieses, há limitações estruturais sobre o que um dataset pode representar.

Cobertura temporal

Dados de um período específico podem não se generalizar para outros períodos. Um modelo de comportamento do consumidor treinado em dados de 2019 não vai capturar o comportamento de 2020-2021 afetado pela pandemia. Uma análise de desempenho de investimentos num período de bull market não captura comportamento em crises.

# Verificar cobertura temporal
print("Período coberto pelo dataset:")
print(f"  Início: {df['data'].min()}")
print(f"  Fim: {df['data'].max()}")
print(f"  Duração: {(df['data'].max() - df['data'].min()).days} dias")

# Verificar se há lacunas temporais
df_temporal = df.set_index('data').resample('ME').size()
meses_sem_dados = df_temporal[df_temporal == 0]
if len(meses_sem_dados) > 0:
    print(f"\nMeses sem dados: {len(meses_sem_dados)}")
    print(meses_sem_dados)

Cobertura geográfica

Dados de uma região podem não se generalizar para outras. Comportamento de consumidores em São Paulo pode ser muito diferente do comportamento no Nordeste. Dados de usuários americanos de um aplicativo não representam usuários brasileiros.

Cobertura demográfica

Se o dataset é composto de usuários de um serviço digital, ele sub-representa idosos, pessoas de baixa renda sem acesso à internet e populações rurais. Se o dataset vem de uma rede social, ele super-representa jovens e pessoas com opiniões fortes.

Como documentar limitações

Toda análise deve incluir uma seção explícita de limitações. Não como um formulismo para se proteger, mas como informação genuinamente útil para quem vai usar os resultados.

Uma boa documentação de limitações responde quatro perguntas:

Quem está representado nos dados e quem não está? Descreva a população que gerou os dados e identifique grupos que provavelmente estão sub ou sobre-representados.

Qual o período coberto e por que ele pode ser atípico ou não generalizável? Identifique eventos que tornaram o período especial.

Que variáveis importantes estão ausentes? Se você está analisando performance de vendedores mas não tem dados sobre a dificuldade do território de cada um, sua análise é limitada por essa ausência.

Correlação ou causalidade? Seja explícito sobre o que você pode e não pode concluir causalmente com os dados disponíveis.

## Limitações desta análise

### Representatividade
Os dados cobrem apenas clientes cadastrados na plataforma digital entre
2021 e 2023. Clientes que compram em lojas físicas ou por telefone não
estão representados (estimados em 35% do volume total de vendas, segundo
relatório interno de 2022). Conclusões sobre comportamento de compra
podem não se generalizar para esses canais.

### Período
O período analisado inclui os meses de restrições de mobilidade de 2021,
que alteraram significativamente os padrões de compra em algumas categorias.
Tendências identificadas nesse período devem ser interpretadas com cautela
ao fazer projeções para períodos normais.

### Variáveis ausentes
Não há dados sobre exposição a campanhas de marketing, o que impede
distinguir aumento de vendas por comportamento espontâneo do cliente
versus resposta a estímulo de marketing. A relação entre satisfação e
recompra identificada na Pergunta 2 pode ser parcialmente explicada
por exposição diferencial a campanhas.

### Causalidade
Todas as relações identificadas são correlações. Nenhuma das análises
estabelece causalidade. Em particular, a relação entre tempo de entrega
e nota de avaliação pode refletir que pedidos de maior valor são tanto
entregues mais rápido (logística prioritária) quanto avaliados melhor
(maior satisfação com produto de qualidade superior).

A ética das limitações

Omitir limitações conhecidas não é apenas uma falha metodológica — é uma questão ética. Análises são usadas para tomar decisões que afetam pessoas: contratações, concessões de crédito, políticas públicas, alocação de recursos. Conclusões baseadas em dados com vieses não declarados podem perpetuar ou amplificar injustiças.

Um exemplo concreto: algoritmos de crédito treinados em dados históricos de concessão de crédito herdam os vieses dos analistas humanos que fizeram as concessões históricas. Se crédito foi historicamente concedido com mais facilidade para homens do que para mulheres com o mesmo perfil financeiro, o algoritmo vai aprender essa correlação e reproduzi-la. A análise "os dados mostram que mulheres têm maior risco de inadimplência" pode ser verdade nos dados históricos exatamente porque as mulheres tiveram acesso apenas a crédito menos favorável — e ao mesmo tempo completamente falsa como afirmação sobre risco real.

Reconhecer esse tipo de limitação não é opcional quando os resultados da análise afetam pessoas de forma significativa.

Checklist de limitações para qualquer análise

Antes de finalizar qualquer análise, passe por este checklist:

Como os dados foram coletados? Quem foi incluído e quem foi excluído?

O período é representativo? Houve eventos que tornaram esse período atípico?

Há grupos sub-representados que podem ser afetados pelas conclusões?

As correlações encontradas têm uma explicação causal plausível, ou há variáveis de confusão prováveis?

As conclusões se aplicam apenas à população dos dados ou estão sendo generalizadas para uma população mais ampla?

Que dados adicionais mudariam as conclusões?

As limitações foram documentadas explicitamente na seção de conclusões?

Resumo

Viés é distorção sistemática, não erro aleatório, e mais dados não o corrige. Os principais tipos são: viés de seleção (amostra não representa a população), viés de sobrevivência (apenas os que "chegaram ao fim" estão na amostra), viés de medição (o instrumento mede consistentemente de forma errada), viés de confirmação (o processo foi projetado para confirmar uma conclusão prévia) e viés de variável de confusão (uma terceira variável explica a relação aparente entre duas outras). O paradoxo de Simpson mostra que tendências agregadas podem se inverter ao desagregar por subgrupos. Limitações de representatividade incluem cobertura temporal, geográfica e demográfica. Toda análise deve documentar explicitamente o que os dados representam e o que não representam. Omitir limitações conhecidas é uma questão ética, não apenas metodológica.

Exercícios

1. Uma empresa analisa dados de avaliações de seus produtos e conclui que a satisfação dos clientes melhorou significativamente nos últimos dois anos. Identifique pelo menos dois vieses que podem tornar essa conclusão incorreta, sem nenhuma mudança real na satisfação.

   Ver resposta

   ✓ Resposta:

   Viés de seleção por canal: se a empresa passou a coletar avaliações principalmente por e-mail enviado após a compra, e a taxa de resposta é maior entre clientes satisfeitos (clientes insatisfeitos ignoram o e-mail), a melhora pode refletir uma mudança no perfil de quem responde, não na satisfação real. Se dois anos atrás as avaliações vinham de formulários em loja física — onde todos os clientes eram abordados — e hoje vêm de e-mail voluntário, a comparação não é válida.

   Viés de sobrevivência combinado com churn: clientes muito insatisfeitos cancelam e param de comprar. Se a base de clientes cresceu nos dois anos mas os insatisfeitos foram perdidos, a amostra atual contém proporcionalmente mais clientes satisfeitos — não porque a satisfação melhorou, mas porque os insatisfeitos saíram da amostra. A métrica correta seria satisfação de todos os clientes que compraram, incluindo os que depois cancelaram, não apenas dos que continuam ativos.

   Um terceiro viés possível é viés de medição: se a escala de avaliação mudou (de 1-5 para 1-10), ou se a pergunta foi reformulada de "você indicaria este produto?" para "você ficou satisfeito com este produto?", a comparação temporal não é válida — você está medindo coisas ligeiramente diferentes.

2. Explique o paradoxo de Simpson com um exemplo original — diferente do exemplo da aula — e descreva como você detectaria esse problema numa análise de dados.

   Ver resposta

   ✓ Resposta:

   Exemplo: uma rede de academias analisa se o programa de treino personalizado melhora a retenção de clientes. Nos dados agregados, clientes com treino personalizado têm retenção de 60% e clientes sem têm retenção de 70% — aparentemente o treino personalizado piora a retenção.

   Mas ao desagregar por tipo de academia (premium vs. popular), o resultado se inverte: em academias premium, personalizados têm 85% de retenção contra 75% dos sem. Em academias populares, personalizados têm 40% contra 30%. Em ambos os tipos, o treino personalizado melhora a retenção.

   A paradoxo ocorre porque o treino personalizado é muito mais comum em academias populares (80% dos clientes) do que nas premium (20%). Academias populares têm retenção geral muito menor. Então os personalizados têm taxa agregada menor simplesmente porque estão concentrados no grupo com menor retenção base.

   Para detectar esse problema numa análise:

   # Sempre desagregar por variáveis que podem ser confundidoras
   # antes de aceitar uma relação agregada
   
   # Verificar se a relação se mantém nos subgrupos
   resultado_agregado = df.groupby('tem_personalizado')['reteve'].mean()
   resultado_por_tipo = df.groupby(['tipo_academia', 'tem_personalizado'])['reteve'].mean()
   
   print("Resultado agregado:")
   print(resultado_agregado)
   
   print("\nResultado por tipo de academia:")
   print(resultado_por_tipo.unstack())
   
   # Se o sinal se inverter nos subgrupos, é paradoxo de Simpson
   

   O sinal se inverte — a relação agregada é negativa mas em todos os subgrupos é positiva. Isso é o paradoxo de Simpson.

3. Por que "mais dados" não resolve viés, e em que sentido pode piorar a situação?

   Ver resposta

   ✓ Resposta:

   Viés é um erro sistemático e direcional. Mais dados de uma fonte viesada produzem estimativas mais precisas do valor errado — você fica mais confiante numa conclusão incorreta.

   Imagine que você está medindo a temperatura de uma cidade com um termômetro que sistematicamente marca 3°C a mais do que a temperatura real. Medir 10 vezes versus 10.000 vezes não corrige o erro — nos dois casos sua estimativa vai ser consistentemente 3°C acima da verdade. Com 10 medições, você tem incerteza e pode suspeitar de erro. Com 10.000 medições, você tem um intervalo de confiança extremamente estreito em torno do valor errado, e a precisão estatística dá uma falsa sensação de certeza.

   O exemplo histórico da Literary Digest ilustra isso: 2,4 milhões de respostas eram muito mais do que qualquer pesquisa fazia na época, mas o tamanho não compensou o viés de seleção. Ao mesmo tempo, George Gallup previu corretamente o resultado com uma amostra de 50.000 usando amostragem representativa.

   Mais dados podem piorar a situação de duas formas adicionais. Primeiro, conjuntos de dados maiores têm mais poder estatístico — correlações espúrias ou triviais atingem significância estatística com mais facilidade, levando a reportar como "significativo" algo que é artefato do viés. Segundo, o investimento em coletar e processar mais dados da mesma fonte viesada desvia recursos que poderiam ser usados para identificar e corrigir a fonte do viés ou para coletar de fontes complementares não-viesadas.

4. Você está analisando dados de desempenho escolar de estudantes de ensino médio para identificar fatores associados a melhores notas. Cite três variáveis de confusão prováveis e explique como cada uma poderia criar a aparência de uma relação que na verdade é espúria.

   Ver resposta

   ✓ Resposta:

   Variável de confusão 1: renda familiar. Se você encontra correlação entre "participação em atividades extracurriculares" e "notas altas", a renda familiar é um confundidor óbvio. Famílias de maior renda podem tanto pagar por atividades extracurriculares quanto por aulas de reforço, tutores e escolas melhores. A correlação entre atividades extracurriculares e notas pode existir inteiramente porque as duas são causadas pela renda, sem que a atividade extracurricular em si melhore o desempenho.

   Variável de confusão 2: qualidade da escola. Se você analisa que "estudar mais horas" está associado a "notas mais altas", a qualidade da escola pode ser confundidora. Escolas de maior qualidade têm professores melhores que mantêm os alunos mais engajados — esses alunos tanto estudam mais porque estão mais motivados quanto tiram notas melhores pelo ensino superior. A relação horas-notas pode desaparecer ou diminuir muito quando você controla pela escola.

   Variável de confusão 3: motivação intrínseca. Se você encontra que "uso de aplicativos de estudo" está associado a melhores notas, a motivação do estudante é um confundidor potente. Estudantes mais motivados tanto buscam ferramentas adicionais de estudo quanto naturalmente dedicam mais esforço — e o esforço, não o aplicativo, pode ser a causa real da melhora. Um experimento aleatório controlado (dar acesso ao aplicativo para metade dos alunos escolhidos aleatoriamente) seria necessário para isolar o efeito do aplicativo da motivação de base.

5. Escreva a seção de limitações para uma análise hipotética que investigou a relação entre horas trabalhadas por semana e salário anual usando dados de uma pesquisa online respondida por profissionais de tecnologia brasileiros entre janeiro e março de 2024.

   Ver resposta

   ✓ Resposta:

   ## Limitações da análise
   
   ### Representatividade da amostra
   Os dados provêm de uma pesquisa online respondida voluntariamente,
   o que introduz viés de seleção em múltiplas dimensões. Profissionais
   mais jovens, com maior familiaridade digital e maior engajamento com
   comunidades online de tecnologia estão provavelmente sobre-representados.
   Profissionais mais sênior, em cargos de gestão, ou em empresas com
   cultura mais fechada podem estar sub-representados.
   
   A amostra cobre apenas profissionais de tecnologia, um setor com
   remuneração acima da média do mercado de trabalho brasileiro. Conclusões
   sobre a relação entre horas trabalhadas e salário não se generalizam
   para outros setores.
   
   ### Cobertura geográfica
   Não há informação sobre a distribuição geográfica dos respondentes.
   Dado que centros tecnológicos como São Paulo, Rio de Janeiro e Florianópolis
   têm salários médios substancialmente maiores que outras regiões, e que
   profissionais nessas cidades têm maior probabilidade de responder pesquisas
   online em inglês ou português técnico, a amostra pode superestimar os
   salários médios do setor no Brasil como um todo.
   
   ### Período de coleta
   Os dados foram coletados em janeiro a março de 2024, período de
   reestruturações significativas no setor de tecnologia globalmente,
   incluindo demissões em massa em grandes empresas e ajustes de
   remuneração. Padrões identificados nesse período podem não refletir
   a relação típica entre horas trabalhadas e salário em períodos de
   maior estabilidade do setor.
   
   ### Viés de resposta desejável
   Perguntas sobre horas trabalhadas e salário em pesquisas
   auto-relatadas são suscetíveis a distorção. Profissionais podem
   subestimar horas trabalhadas (para não parecer pouco produtivos)
   ou superestimar (para demonstrar dedicação), e podem arredondar
   salários para cima. A direção e magnitude desses vieses é difícil
   de estimar sem validação externa.
   
   ### Variáveis ausentes
   A análise não controla por senioridade, tipo de empresa (startup
   vs. corporação multinacional vs. setor público), modalidade de
   trabalho (CLT vs. PJ vs. freelance) nem por especialização técnica
   (frontend, backend, dados, segurança), todas variáveis fortemente
   correlacionadas com salário. A relação observada entre horas
   trabalhadas e salário pode ser parcial ou totalmente explicada
   por essas variáveis não observadas.
   
   ### Causalidade
   Esta análise identifica correlações e não estabelece causalidade.
   Em particular, a relação entre horas trabalhadas e salário pode
   refletir que profissionais mais bem pagos têm maior engajamento
   com seu trabalho (e portanto trabalham mais), que empresas que
   pagam melhor têm cultura de maior dedicação, ou que profissionais
   mais seniores — que ganham mais — trabalham mais por maior
   responsabilidade. Nenhuma dessas interpretações é distinguível
   dos dados disponíveis.
   

Referências

• Huff, Darrell. How to Lie with Statistics. W. W. Norton, 1954. Clássico acessível e bem-humorado sobre como dados podem ser usados de forma enganosa, com exemplos que envelheceram surpreendentemente bem. Leitura obrigatória para qualquer analista.
• Kahneman, Daniel. Thinking, Fast and Slow. Farrar, Straus and Giroux, 2011. Cobre os vieses cognitivos que afetam como interpretamos dados, incluindo viés de confirmação, âncora e disponibilidade. Essencial para entender não apenas vieses nos dados mas vieses em quem os analisa.
• Pearl, Judea; Mackenzie, Dana. The Book of Why. Basic Books, 2018. A referência moderna sobre causalidade em ciência de dados, cobrindo o paradoxo de Simpson, variáveis de confusão e a diferença fundamental entre correlação e causalidade. Acessível para não-matemáticos.
• O'Neil, Cathy. Weapons of Math Destruction. Crown, 2016. Examina casos reais onde algoritmos e análises de dados com vieses não declarados causaram danos concretos a populações vulneráveis. Essencial para a dimensão ética.
• Wald, Abraham. "A Method of Estimating Plane Vulnerability Based on Damage of Survivors". CRC 432, 1943. O memorando original de Wald sobre o problema dos aviões na Segunda Guerra, que ficou classificado até a década de 1980. Disponível como SRG-SSR no Center for Naval Analyses.
• Bickel, Peter; Hammel, Eugene; O'Connell, William. "Sex Bias in Graduate Admissions: Data from Berkeley". Science, 1975. O artigo original que descreveu o paradoxo de Simpson nos dados de admissão de Berkeley — um dos exemplos mais citados e mais bem documentados do fenômeno.