Ciência e Dados
Menu
  • Home
  • Sobre
  • Contato
Menu
A Arte da Ciência de Dados

A Arte da Ciência de Dados

Posted on 17 de outubro de 201527 de dezembro de 2017 by David Matos

Ciência de Dados é uma mistura de arte com engenharia. Reconhecer padrões nos dados, considerar que questionamentos devem ser feitos e determinar o melhor algoritmo para extrair a informação, seria o lado “arte” da Ciência de Dados. Entretanto, para que a arte seja realmente útil, o lado engenharia determina os processos específicos para se atingir os objetivos. A Arte da Ciência de Dados, requer a identificação de alguns passos que vão desde a preparação, passando pela análise e chegando na apresentação dos dados.

Preparando os Dados

Os dados obtidos pelos Cientistas de Dados não chegam em pacotes prontos e formatados para análise, muito pelo contrário. Os dados brutos variam substancialmente em formato e será necessário transformar todas as fontes de dados de forma que a análise possa ser feita. Transformação nos dados pode envolver mudanças nos tipos de dados existentes ou até mesmo criação de dados (algo como preencher as lacunas) baseado nos dados existentes.

Análise exploratória de dados

A matemática por trás da análise de dados é baseada em princípios de engenharia e os resultados são confiáveis e consistentes. Entretanto, a Ciência de Dados também é baseada no valor gerado pelos métodos estatísticos e algoritmos que ajudam na descoberta de padrões nos dados. Um único método de acesso e análise de dados, não vai gerar os resultados esperados. O segredo em uma análise de dados eficiente, é fazer a análise mais de uma vez e por diferentes perspectivas. Ou seja, tentativa e erro é parte do trabalho do Cientista de Dados.

Os dados ensinam

À medida que você aplica métodos estatísticos e algoritmos para detectar padrões e realiza diversas iterações neste processo (ou seja, repete o processo algumas vezes), você começa a aprender sobre os dados. Você percebe que os dados podem não contar a história que você esperava ou que na verdade os dados contam várias diferentes histórias. Descoberta é parte do trabalho do Cientista de Dados. Na verdade, esta é uma das partes mais interessantes do trabalho, pois você nunca sabe com precisão o que os dados podem revelar.

Visualização

Visualização significa identificar os padrões nos dados e reagir a estes padrões, sendo capaz de perceber se os dados seguem ou não um padrão. Imagine o Cientista de Dados como um escultor. Sua função é remover dos dados as partes que não seguem os padrões (outliers) e assim encontrar a verdadeira obra de arte sob os dados brutos. O Cientista de Dados deve ser capaz de visualizar a “obra de arte” por trás dos dados brutos, mas até que ele seja capaz de mostra isso aos outros, através de visualização dos dados, será apenas uma visão solitária.

Obtendo insights dos dados

O Cientista de Dados precisa ir além dos métodos para visualizar os dados. Ele precisa deixar claro o que os dados querem dizer e ser capaz de fazer previsões a partir da manipulação e análise dos dados, de modo que eles sejam úteis, por exemplo, na tomada de decisões.

Em alguns casos, o resultado da análise pode gerar respostas automatizadas. Quando um robô utilizando scripts de Machine Learning, visualiza uma série de pixels (dados) obtidos de uma câmera, os pixels que formam o objeto tem um significado para a programação do robô, que vai determinar que ações serão tomadas na sequência. Entretanto, até que o Cientista de Dados crie uma aplicação para carregar, analisar e visualizar os pixels a partir da câmera, o robô não é capaz de ver nada.

David Matos

Relacionado

Deixe um comentário Cancelar resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Assinar blog por e-mail

Digite seu endereço de e-mail para assinar este blog e receber notificações de novas publicações por e-mail.

Buscar

Twitter

Meus Tuítes

Tags Mais Comuns nos Posts

Anaconda Analytics Análise de Negócios Apache Spark AWS Big Data Blockchain Business Intelligence ChatGPT Chief Data Officer Cientista de Dados Cientistas de Dados Ciência de Dados Cloud Computing Data Lake Data Mesh Data Science Data Scientist Data Warehouse Deep Learning Deploy Descriptive Analytics Diagnostic Analytics Engenharia de Dados Engenheiro de Dados Estatística GPU Hadoop Inteligência Artificial Internet of Things Linguagem Python Linguagem R Machine Learning MapReduce Metadados NoSQL NVIDIA Open Data Oracle Predictive Analytics Prescriptive Analytics Probabilidade Python Salários Data Science Visualização

Histórico de Posts

  • fevereiro 2023 (3)
  • janeiro 2023 (5)
  • dezembro 2022 (8)
  • novembro 2022 (7)
  • outubro 2022 (2)
  • setembro 2022 (3)
  • agosto 2022 (2)
  • julho 2022 (2)
  • junho 2022 (3)
  • maio 2022 (1)
  • abril 2022 (3)
  • março 2022 (1)
  • fevereiro 2022 (3)
  • janeiro 2022 (2)
  • dezembro 2021 (1)
  • novembro 2021 (5)
  • outubro 2021 (2)
  • setembro 2021 (3)
  • agosto 2021 (1)
  • junho 2021 (1)
  • fevereiro 2021 (2)
  • janeiro 2021 (1)
  • dezembro 2020 (1)
  • novembro 2020 (1)
  • outubro 2020 (2)
  • agosto 2020 (1)
  • abril 2020 (1)
  • março 2020 (1)
  • fevereiro 2020 (2)
  • agosto 2019 (1)
  • abril 2019 (1)
  • setembro 2018 (2)
  • julho 2018 (1)
  • junho 2018 (3)
  • abril 2018 (1)
  • março 2018 (1)
  • fevereiro 2018 (2)
  • janeiro 2018 (1)
  • dezembro 2017 (1)
  • novembro 2017 (1)
  • outubro 2017 (1)
  • setembro 2017 (1)
  • julho 2017 (1)
  • junho 2017 (1)
  • maio 2017 (2)
  • abril 2017 (1)
  • janeiro 2017 (1)
  • novembro 2016 (1)
  • outubro 2016 (1)
  • setembro 2016 (1)
  • julho 2016 (1)
  • junho 2016 (1)
  • maio 2016 (1)
  • abril 2016 (1)
  • fevereiro 2016 (1)
  • janeiro 2016 (3)
  • dezembro 2015 (4)
  • novembro 2015 (6)
  • outubro 2015 (9)
  • setembro 2015 (9)
  • agosto 2015 (9)
©2022 Ciência e Dados