O Apache Hop permite projetar visualmente pipelines de dados e workflows. Programação é uma opção, não uma necessidade.
Categoria: Engenheiro de Dados
A Importância da Modelagem de Dados em Projetos de Engenharia de Dados
A modelagem de dados é a prática que dá forma, costura e resiliência ao ecossistema de dados. Ela conecta linguagem de negócio, eficiência técnica, governança, qualidade e evolução contínua em um mesmo fio condutor. Projetos de engenharia de dados que tratam modelagem como etapa essencial colhem ganhos em velocidade, custo, confiança e impacto. Projetos que a tratam como detalhe acabam pagando, cedo ou tarde, juros compostos de retrabalho e desconfiança. Se o objetivo é transformar dados em decisões e produtos, a modelagem não é um acessório; é o próprio chassi do veículo.
Engenharia de Dados Não é Engenharia de Software – Parte 2
Aqui está um segredo de engenharia de dados: os pipelines de dados raramente são testados em unidade. Os pipelines de dados geralmente são testados simplesmente implantando-os — geralmente primeiro em um ambiente de teste ou homologação.
Engenharia de Dados Não é Engenharia de Software – Parte 1
Este post (dividido em duas partes) tem como objetivo destacar alguns dos desafios exclusivos da engenharia de dados e por que isso requer uma abordagem personalizada.
Por Que Usar Airbyte Para Seu Processo ETL?
Como experimentar rapidamente um pipeline de dados e um grupo de conectores de forma simples e robusta? É aqui que entram ferramentas como o Airbyte.
Kubernetes: Pods, Nodes, Containers e Clusters
O Kubernetes surgiu como plataforma de orquestração de containers, sendo ferramenta essencial para equipes de Engenharia de Dados. Sua importância é cada vez maior na infraestrutura de Big Data e no deploy de modelos de Machine Learning. Vamos compreender o que é o Kubernetes.
Data Lake – A Evolução do Armazenamento e Processamento de Dados
Aqui apresentarei a arquitetura do Data Lake, que introduz uma interessante revolução no armazenamento e processamento de dados.
Cientista de Dados x Engenheiro de Dados
Ciência de Dados e Engenharia de Dados são 2 diferentes ramos de atuação dentro do conceito de Big Data e as funções de Cientista de Dados e Engenheiro de Dados são normalmente confundidas.