Ciência de Dados é uma mistura de arte com engenharia. Reconhecer padrões nos dados, considerar que questionamentos devem ser feitos e determinar o melhor algoritmo para extrair a informação, seria o lado “arte” da Ciência de Dados. Entretanto, para que a arte seja realmente útil, o lado engenharia determina os processos específicos para se atingir os objetivos. A Arte da Ciência de Dados, requer a identificação de alguns passos que vão desde a preparação, passando pela análise e chegando na apresentação dos dados.

Preparando os Dados

Os dados obtidos pelos Cientistas de Dados não chegam em pacotes prontos e formatados para análise, muito pelo contrário. Os dados brutos variam substancialmente em formato e será necessário transformar todas as fontes de dados de forma que a análise possa ser feita. Transformação nos dados pode envolver mudanças nos tipos de dados existentes ou até mesmo criação de dados (algo como preencher as lacunas) baseado nos dados existentes.

Análise exploratória de dados

A matemática por trás da análise de dados é baseada em princípios de engenharia e os resultados são confiáveis e consistentes. Entretanto, a Ciência de Dados também é baseada no valor gerado pelos métodos estatísticos e algoritmos que ajudam na descoberta de padrões nos dados. Um único método de acesso e análise de dados, não vai gerar os resultados esperados. O segredo em uma análise de dados eficiente, é fazer a análise mais de uma vez e por diferentes perspectivas. Ou seja, tentativa e erro é parte do trabalho do Cientista de Dados.

Os dados ensinam

À medida que você aplica métodos estatísticos e algoritmos para detectar padrões e realiza diversas iterações neste processo (ou seja, repete o processo algumas vezes), você começa a aprender sobre os dados. Você percebe que os dados podem não contar a história que você esperava ou que na verdade os dados contam várias diferentes histórias. Descoberta é parte do trabalho do Cientista de Dados. Na verdade, esta é uma das partes mais interessantes do trabalho, pois você nunca sabe com precisão o que os dados podem revelar.

Visualização

Visualização significa identificar os padrões nos dados e reagir a estes padrões, sendo capaz de perceber se os dados seguem ou não um padrão. Imagine o Cientista de Dados como um escultor. Sua função é remover dos dados as partes que não seguem os padrões (outliers) e assim encontrar a verdadeira obra de arte sob os dados brutos. O Cientista de Dados deve ser capaz de visualizar a “obra de arte” por trás dos dados brutos, mas até que ele seja capaz de mostra isso aos outros, através de visualização dos dados, será apenas uma visão solitária.

Obtendo insights dos dados

O Cientista de Dados precisa ir além dos métodos para visualizar os dados. Ele precisa deixar claro o que os dados querem dizer e ser capaz de fazer previsões a partir da manipulação e análise dos dados, de modo que eles sejam úteis, por exemplo, na tomada de decisões.

Em alguns casos, o resultado da análise pode gerar respostas automatizadas. Quando um robô utilizando scripts de Machine Learning, visualiza uma série de pixels (dados) obtidos de uma câmera, os pixels que formam o objeto tem um significado para a programação do robô, que vai determinar que ações serão tomadas na sequência. Entretanto, até que o Cientista de Dados crie uma aplicação para carregar, analisar e visualizar os pixels a partir da câmera, o robô não é capaz de ver nada.

David Matos