Sempre usei o Excel para cálculos rápidos e para criar tabelas simples. Mas, além de fórmulas comuns e técnicas básicas de manipulação de dados, nunca senti necessidade de aprender funções adicionais do Excel — até meus projetos começarem a ficar mais complexos.
Links Rápidos
O problema que finalmente me fez prestar atenção
Devido a diversos fatores de mercado e impostos de importação, comprar componentes de computador na minha região costuma ser mais caro do que nos Estados Unidos. Eu queria saber quanto a mais eu estava pagando pelos mesmos componentes e se seria melhor comprar diretamente da Amazon ou da Newegg em vez de varejistas locais. Então, coletei dados de preços ao longo de alguns meses para os principais componentes de computador (CPUs, GPUs e RAM) que as lojas locais normalmente importam. Um projeto simples de rastreamento, certo? Errado.
Rapidamente, acabei com uma bagunça completa de dados. Cada varejista exportava suas informações usando convenções de formatação diferentes, tornando quase impossível mesclar os arquivos. A Amazon fornecia datas em MM/DD/AAAA, a Newegg usava AAAAMMDD e a Shopee (minha loja local) usava DD-MM-AAAA.
As inconsistências não pararam por aí. Os nomes das colunas variavam bastante. A Newegg rotulava os preços como "retail_price", enquanto a Amazon usava "unit_price_usd" e a Shopee optava por "price_php". A formatação dos preços também era problemática, com alguns arquivos exibindo "₱18,600" incluindo símbolos de moeda, enquanto outros exibiam números regulares como "320". Até mesmo os nomes das marcas não apresentavam consistência, aparecendo como "gigabyte", "GIGABYTE INC." ou "Gigabyte Tech" para o mesmo fabricante em arquivos diferentes.
Limpar e mesclar esses dados manualmente já me levava horas. Eu tinha que copiar e colar entre arquivos, encontrar e substituir valores inconsistentes e excluir linhas vazias uma por uma. Converter PHP para USD para comparação de preços significava ficar olhando constantemente para outra tela para ver as taxas de câmbio. No geral, o trabalho era tedioso, sujeito a erros e quase me fez desistir.
Foi então que finalmente pensei em usar um dos recursos sobre os quais os entusiastas do Excel sempre falam: o Power Query. Muitos outros recursos poderosos oferecidos pelo ExcelMas eu tinha ouvido dizer que o Power Query era a ferramenta perfeita para o meu problema específico. Então, depois de assistir a alguns tutoriais no YouTube, percebi imediatamente quanto tempo eu poderia economizar se começasse a usar o Editor do Power Query para limpar todos os dados confusos que eu havia coletado da internet. Com o Power Query, agora posso importar dados facilmente de várias fontes, convertê-los para um formato padronizado e analisá-los com eficiência, economizando tempo e esforço valiosos nos meus projetos de análise de preços de componentes de computador.
Como usar o Power Query para limpar dados não estruturados?
Depois de um tempo, decidi por um processo simples, passo a passo, no editor do Power Query. Veja exatamente como organizei minhas exportações CSV desorganizadas e as transformei em uma planilha consistente e bem organizada.
Primeiro, importei meus dados para o Editor do Power Query abrindo uma pasta de trabalho em branco, clicando Dados Na faixa de opções, selecione Do texto/CSV.Então selecionei meu arquivo CSV e cliquei Transformar dados Para abri-lo usando o editor do Power Query.
Comecei corrigindo a coluna de datas. Como estava coletando dados de duas fontes com uma diferença de 12 horas, precisei unificar as datas. Acabou sendo bem simples. Defini a coluna Data, clique com o botão direito para abrir o menu de contexto e escolha Alterar tipo > Usando localidadeNo menu pop-up, defino o tipo como Data e identificado Inglês (Estados Unidos) Para garantir uma formatação consistente, o Power Query reconhece automaticamente diferentes formatos, como MM/DD/AAAA, AAAA/MM/DD, e variáveis que usam símbolos como DD-MM-AA, e então os unifica em um único formato de data.
Agora que corrigi o formato da data, só precisava limpar a coluna. هناك Diferentes maneiras de limpar uma planilha do ExcelMas como todos os erros eram entradas ruins geradas pelo meu scraper, simplesmente escolhi usar um filtro. Remover Erros Para remover essas entradas. Esta etapa removeu valores nulos e quaisquer dados problemáticos restantes que não foram registrados corretamente, deixando-me com datas limpas e consistentes em todos os meus arquivos.
Em seguida, abordei a desordem da marca com uma função. Substituir ValoresComo antes, selecionei a coluna de destino, cliquei com o botão direito para abrir o menu de contexto e selecionei Substituir ValoresNa janela pop-up, insira o valor inconsistente no campo. Valor a ser encontrado e meu valor padrão em campo Substituir por campo.
Fiz isso mais duas vezes e finalmente converti todas as entradas "gigabyte" e "GIGABTYE Inc." em um único e consistente "GIGABYTE" em todos os meus arquivos. Fiz o mesmo com a AMD, e agora toda a coluna "Marca" para GPUs usa nomes de marcas padrão.
Power Query: como ele me economizou horas de trabalho
Um dos motivos pelos quais evitei o Power Query foi porque pensei que seria mais um recurso complexo e levaria muito tempo para aprender. Mas acabou sendo muito mais fácil do que eu esperava. Em vez de executar comandos intermináveis de localizar e substituir, posso usar o Power Query para limpar dados de forma rápida e automática das minhas ferramentas de coleta de dados.
O que mais me surpreendeu no Power Query é que cada comando que executei foi gravado e pôde ser repetido indefinidamente. Isso basicamente fornece um script de limpeza automatizado que pode transformar arquivos CSV bagunçados em planilhas limpas e organizadas — perfeito se você estiver trabalhando em um Crie conjuntos de dados personalizados usando web scraping, já que essas ferramentas geralmente produzem dados impuros.
Para quem lida com limpezas de dados recorrentes, formatos inconsistentes ou múltiplas fontes de dados, o Power Query transforma esses fardos em um processo simples e automatizado. Em vez de dedicar horas semanais a correções manuais, você pode simplesmente clicar em "atualizar" e começar a analisar. É um recurso do Excel que eu gostaria de ter adotado há muito tempo. Depois de experimentar o poder de um script de limpeza automatizado e repetível, não há como voltar atrás. O Power Query é uma ferramenta poderosa para economizar tempo e esforço no processamento de dados, fornecendo soluções avançadas para limpeza e transformação eficazes de dados.
