Infraestrutura como código (IaC) é o gerenciamento e provisionamento de infraestrutura por meio de código em vez de processos manuais. E vem crescendo em popularidade.
Categoria: Engenharia de Dados
A Importância da Modelagem de Dados em Projetos de Engenharia de Dados
A modelagem de dados é a prática que dá forma, costura e resiliência ao ecossistema de dados. Ela conecta linguagem de negócio, eficiência técnica, governança, qualidade e evolução contínua em um mesmo fio condutor. Projetos de engenharia de dados que tratam modelagem como etapa essencial colhem ganhos em velocidade, custo, confiança e impacto. Projetos que a tratam como detalhe acabam pagando, cedo ou tarde, juros compostos de retrabalho e desconfiança. Se o objetivo é transformar dados em decisões e produtos, a modelagem não é um acessório; é o próprio chassi do veículo.
Contratos de Dados – Tudo o Que Você Precisa Saber
Apesar do nome intimidador, os contratos de dados não são tão complicados quanto parecem à primeira vista. E eles podem ser incrivelmente úteis para melhorar a responsabilidade em todos os ativos de dados.
Terraform Para Automação em Projetos de Engenharia de Dados
Terraform é uma ferramenta de código aberto criada pela HashiCorp que permite definir a infraestrutura como código usando uma linguagem simples e declarativa e implantar e gerenciar essa infraestrutura em uma variedade de provedores de nuvem pública e plataformas de nuvem privada e virtualização usando alguns comandos.
Engenharia de Dados Não é Engenharia de Software – Parte 2
Aqui está um segredo de engenharia de dados: os pipelines de dados raramente são testados em unidade. Os pipelines de dados geralmente são testados simplesmente implantando-os — geralmente primeiro em um ambiente de teste ou homologação.
Engenharia de Dados Não é Engenharia de Software – Parte 1
Este post (dividido em duas partes) tem como objetivo destacar alguns dos desafios exclusivos da engenharia de dados e por que isso requer uma abordagem personalizada.