O processo de análise de dados: as cinco etapas

Fase 1 — Fundamentos | Pré-requisitos: Aula 0 | Duração estimada: 60 minutos

Introdução

Antes de escrever uma linha de código ou abrir qualquer biblioteca, um analista de dados precisa entender o processo que organiza o trabalho. Análise de dados não é uma atividade aleatória — é um ciclo com etapas bem definidas, cada uma com um propósito específico e ferramentas associadas.

O problema de pular direto para o código é que você começa a responder perguntas antes de saber qual pergunta está fazendo. O resultado costuma ser análises tecnicamente corretas que não respondem nada útil, ou pior, que chegam a conclusões erradas porque os dados foram mal compreendidos.

Esta aula apresenta as cinco etapas do processo de análise de dados que estrutura todo o curso: questionar, coletar, limpar (wrangling), analisar e comunicar. Cada aula seguinte aprofunda uma dessas etapas. Aqui você vai entender o todo antes de mergulhar nas partes.

Etapa 1 — Questionar

Tudo começa com uma pergunta. Parece óbvio, mas é a etapa mais negligenciada por analistas iniciantes. A tendência natural é pegar um dataset e sair explorando. O problema é que sem uma pergunta clara, você não sabe quando parou de explorar nem o que está procurando.

Uma boa pergunta analítica tem quatro características.

Ela é específica. "Como estão as vendas?" não é uma pergunta analítica. "As vendas de produtos da categoria eletrônicos cresceram mais no segundo trimestre de 2024 do que no mesmo período de 2023?" é uma pergunta analítica.

Ela é respondível com dados. "Por que os clientes são desleais?" pode ser respondida com dados de comportamento de compra, mas "qual é o significado da lealdade?" não é uma questão analítica.

Ela tem relevância prática. A resposta deve mudar alguma coisa — uma decisão, uma estratégia, um comportamento.

Ela é definida antes de olhar os dados. Definir a pergunta depois de ver os dados é uma forma de viés chamada HARKing (Hypothesizing After Results are Known). Você começa a fazer perguntas que você já sabe a resposta, o que parece análise mas é confirmação circular.

Na prática, as perguntas surgem de várias fontes: um stakeholder pede uma análise, você observa uma anomalia num relatório, ou você tem uma hipótese sobre o negócio que quer verificar. O importante é formulá-la com clareza antes de começar.

Etapa 2 — Coletar

Com a pergunta definida, você precisa dos dados que permitem respondê-la. Coleta de dados envolve identificar as fontes disponíveis, entender o formato em que os dados estão e carregá-los no seu ambiente de trabalho.

As fontes mais comuns que você vai encontrar neste curso são:

Arquivos CSV (Comma-Separated Values): o formato mais universal para dados tabulares. Qualquer sistema exporta CSV.

Arquivos JSON: comum em respostas de APIs e dados semiestruturados.

Bancos de dados relacionais: você se conecta via SQL e traz os dados para Python.

APIs REST: serviços web que retornam dados sob demanda, geralmente em JSON.

Web scraping: extração de dados de páginas HTML quando não há API disponível.

Arquivos Excel: ainda muito presentes no ambiente corporativo.

A Fase 2 deste curso cobre coleta em profundidade. Por ora, nos exemplos das próximas aulas, vamos trabalhar principalmente com arquivos CSV carregados com pandas.

Um ponto importante sobre coleta: os dados que você precisa raramente estão num lugar só. É comum precisar combinar três ou quatro fontes diferentes, cada uma com estrutura própria, para responder uma única pergunta. Isso já é wrangling, a etapa seguinte.

Etapa 3 — Limpar (Wrangling)

Esta é a etapa que consome mais tempo na vida real de um analista. Estudos recentes do setor estimam que analistas gastam entre 60% e 80% do seu tempo limpando dados antes de conseguir analisá-los. Isso não é um problema a ser resolvido — é a natureza do trabalho.

Dados do mundo real são sujos. Os problemas mais comuns são:

Valores ausentes: campos em branco, NaN, None, ou valores codificados como -999 ou "N/A".

Tipos incorretos: uma coluna de datas armazenada como texto, ou uma coluna numérica com vírgulas e cifrões que a tornam uma string.

Duplicatas: a mesma linha registrada mais de uma vez por erros de sistema ou de processo.

Inconsistências: "São Paulo", "são paulo", "SP" e "Sao Paulo" referindo-se à mesma cidade.

Outliers: valores que existem mas são tão extremos que distorcem análises se não forem tratados conscientemente.

Estrutura inadequada: dados em formato wide quando deveriam estar em long, ou múltiplas informações comprimidas numa única coluna.

Wrangling não é apenas limpeza mecânica. É um processo de entendimento dos dados. Cada problema que você encontra revela algo sobre como os dados foram gerados — e isso é informação analítica valiosa por si só.

A Fase 2 deste curso é dedicada inteiramente a wrangling. Nas aulas da Fase 1, faremos limpeza básica suficiente para seguir em frente.

Etapa 4 — Analisar

Com os dados limpos e estruturados, você finalmente responde a pergunta. Análise aqui tem um sentido amplo: pode ser calcular estatísticas descritivas, comparar grupos, identificar tendências temporais, encontrar correlações ou construir modelos preditivos.

Neste curso, o foco é análise exploratória — você usa estatística descritiva e visualizações para entender o que os dados dizem, sem necessariamente testar hipóteses formais com testes estatísticos.

A análise exploratória segue um padrão iterativo: você calcula algo, visualiza, descobre uma nova pergunta, calcula outra coisa, visualiza de novo. Não é linear. É normal voltar à etapa de wrangling no meio da análise porque você descobriu um problema que ainda não tinha visto.

Algumas perguntas guia que organizam uma boa análise exploratória:

Qual é a distribuição desta variável? É normal, assimétrica, bimodal?
Há outliers? São erros ou valores reais?
Como esta variável se relaciona com aquela outra?
A relação entre duas variáveis muda quando você divide por um terceiro fator?
Há padrões temporais? Sazonalidade? Tendência de crescimento ou queda?

Etapa 5 — Comunicar

A análise mais brilhante do mundo não tem valor se não for comunicada de forma que o público-alvo entenda e consiga agir a partir dela. Comunicar é a etapa final e, para muitos analistas técnicos, a mais difícil.

Comunicar bem análises de dados envolve:

Conhecer o público: um relatório para o time de engenharia é diferente de uma apresentação para a diretoria. O primeiro pode ter código e tabelas detalhadas; o segundo precisa de conclusões claras e visualizações que falem por si.

Separar o exploratório do explicativo: durante a análise você gera dezenas de gráficos. Para a apresentação você escolhe três ou quatro que contam a história. O resto fica nos bastidores.

Contextualizar os números: "as vendas cresceram 12%" precisa de contexto — 12% em relação a quê? Em que período? Isso é bom ou ruim para o setor?

Ser honesto sobre limitações: toda análise tem limitações. Os dados podem não representar toda a população. A correlação encontrada pode não ser causal. Omitir limitações é desonestidade intelectual.

A Fase 3 deste curso é dedicada a visualização e comunicação.

O ciclo na prática

As cinco etapas raramente são lineares na vida real. O processo se parece mais com um ciclo: você faz a análise, comunica, recebe feedback do stakeholder, isso gera novas perguntas, você volta a coletar dados adicionais, limpa, analisa de novo e comunica de novo.

É útil pensar nas etapas como um mapa de onde você está no trabalho, não como uma sequência rígida. A qualquer momento você pode precisar voltar duas etapas porque descobriu algo que invalida uma suposição anterior.

Um exemplo completo condensado

Para tornar concreto, veja como as cinco etapas aparecem num problema simples. Suponha que você trabalha numa livraria e quer entender quais categorias de livros têm mais saída.

Questionar: "Quais categorias de livros geraram mais receita no último ano, e essa proporção mudou em relação ao ano anterior?"

Coletar: você exporta os dados de vendas do sistema interno como um arquivo CSV com colunas de data, título, categoria, quantidade e preço unitário.

Limpar: ao inspecionar os dados, você descobre que a coluna de preço tem 47 linhas com valor zero (provavelmente devoluções ou erros de registro), que a coluna de categoria tem "ficção", "Ficção" e "FICÇÃO" como entradas distintas por inconsistência de digitação, e que há 12 linhas duplicadas.

Analisar: depois de limpar, você calcula a receita total por categoria e ano, cria visualizações comparando os dois anos, e descobre que a categoria de autoajuda cresceu 34% enquanto ficção literária caiu 8%.

Comunicar: você prepara um gráfico de barras comparativo com os dois anos lado a lado, escreve um parágrafo com as conclusões principais e apresenta para o gerente de compras com uma recomendação sobre o mix de estoque.

Resumo

O processo de análise de dados tem cinco etapas: questionar, coletar, limpar, analisar e comunicar. Questionar é a etapa mais subestimada — sem uma pergunta boa, a análise não tem direção. Wrangling é a etapa que consume mais tempo na prática. Análise é iterativa e não linear. Comunicar bem é tão importante quanto analisar bem. Todo o restante deste curso vai girar em torno dessas cinco etapas.

Exercícios

Avalie a pergunta a seguir segundo os quatro critérios de uma boa pergunta analítica (específica, respondível com dados, relevante, definida antes de ver os dados): "Por que os funcionários da empresa estão insatisfeitos?"

✓ Resposta:
A pergunta falha em pelo menos dois critérios. Ela não é específica: não define qual empresa, qual período, o que é "insatisfação" nem qual aspecto do trabalho está em questão. Ela também é discutível quanto a ser respondível com dados: "por que" implica causalidade, que é muito mais difícil de estabelecer do que correlação. Para se tornar uma boa pergunta analítica, poderia ser reformulada como: "A taxa de turnover voluntário entre funcionários com menos de dois anos de empresa aumentou no segundo semestre de 2024 em comparação ao mesmo período de 2023?" Essa versão é específica, respondível com dados de RH, relevante para decisões de retenção e pode ser definida antes de olhar os dados.
Na etapa de wrangling, o que diferencia um outlier que deve ser removido de um outlier que deve ser mantido? Dê um exemplo de cada situação.

✓ Resposta:
A diferença está na origem do outlier. Se ele existe por erro de coleta ou digitação, deve ser corrigido ou removido. Se ele é um valor real e legítimo, deve ser mantido — e às vezes é exatamente o mais interessante para a análise.

Exemplo de outlier a remover: numa planilha de alturas de adultos, uma linha registra 1.750 cm. Isso é claramente um erro de digitação (faltou a vírgula: deveria ser 1,750 m, ou seja, 175 cm). Manter esse valor distorceria qualquer estatística de altura.

Exemplo de outlier a manter: numa análise de fraude em cartão de crédito, uma transação de R$ 45.000 num cartão que tipicamente registra gastos abaixo de R$ 500 é um outlier. Removê-lo destruiria exatamente o sinal que você está tentando detectar. O outlier é o fenômeno de interesse.
Por que definir a pergunta antes de ver os dados é importante? O que pode acontecer se você fizer o contrário?

✓ Resposta:
Quando você define a pergunta depois de explorar os dados, corre o risco de cometer HARKing — formular hipóteses que você já sabe que os dados confirmam. Isso parece análise rigorosa mas é uma falácia: você usou os dados para construir a hipótese e os mesmos dados para confirmá-la, o que garante uma confirmação artificial.

Além disso, olhar os dados sem pergunta prévia aumenta o risco de data dredging ou p-hacking: testar tantas combinações de variáveis que alguma correlação espúria aparece por puro acaso estatístico. Em datasets com muitas colunas, é matematicamente certo que você vai encontrar correlações sem nenhum significado real se procurar o suficiente. A pergunta prévia funciona como uma âncora que limita o espaço de busca e mantém a análise honesta.
Em qual das cinco etapas você classificaria cada uma das atividades abaixo?

a) Calcular a média de vendas por região. b) Descobrir que a coluna "data" está armazenada como texto e converter para datetime. c) Decidir investigar se há diferença de desempenho entre lojas urbanas e rurais. d) Criar um gráfico de barras para apresentar os resultados ao gestor. e) Baixar um arquivo CSV do sistema de vendas.

✓ Resposta:
a) Analisar — é uma operação de sumarização sobre dados já limpos. b) Limpar (wrangling) — é correção de tipo de dado, um problema clássico de limpeza. c) Questionar — é a formulação de uma pergunta analítica antes de começar o trabalho. d) Comunicar — é a produção de um artefato visual para transmitir um resultado a um público. e) Coletar — é a obtenção dos dados brutos de uma fonte.
Pense num problema do seu cotidiano ou da sua área de trabalho ou interesse que poderia ser abordado com análise de dados. Escreva uma pergunta analítica boa (específica, respondível, relevante) para esse problema e identifique que dados você precisaria coletar para respondê-la.

✓ Resposta:
Este exercício é aberto e individual. A resposta correta é qualquer pergunta que satisfaça os quatro critérios. Exemplos válidos:

Se você é professor: "A média de desempenho na prova final dos alunos que entregaram todas as listas de exercício foi pelo menos 15% maior do que a dos que pularam duas ou mais listas, na turma de 2024?" Dados necessários: registro de entregas de listas e notas finais por aluno.

Se você se interessa por esportes: "Times da Série A do Brasileirão que terminam o primeiro turno no G4 têm pelo menos 70% de chance de terminar o campeonato entre os quatro primeiros?" Dados necessários: histórico de classificações por turno e classificação final de todos os campeonatos disponíveis.

O critério de avaliação é a qualidade da formulação, não o tema escolhido.

Referências

McKinney, Wes. Python for Data Analysis, 3ª edição. O'Reilly, 2022. Capítulo 1 apresenta o processo de análise de dados e o contexto do pandas.
Wickham, Hadley; Grolemund, Garrett. R for Data Science, 2ª edição. O'Reilly, 2023. Embora seja em R, o modelo de processo descrito no capítulo 1 (Import → Tidy → Transform → Visualize → Model → Communicate) é uma das descrições mais influentes do ciclo analítico. Disponível em r4ds.hadley.nz.
Gelman, Andrew; Loken, Eric. "The Statistical Crisis in Science". American Scientist, 2014. Artigo acessível sobre HARKing e p-hacking e por que a ordem questionar-depois-coletar importa.
Dasu, Tamraparni; Johnson, Theodore. Exploratory Data Mining and Data Cleaning. Wiley, 2003. Referência clássica sobre wrangling e por que limpeza consome a maior parte do tempo analítico.
Documentação do pandas — Getting Started: pandas.pydata.org/docs/getting_started/index.html O ponto de partida oficial para quem está começando com a biblioteca.