Aqui está um segredo de engenharia de dados: os pipelines de dados raramente são testados em unidade. Os pipelines de dados geralmente são testados simplesmente implantando-os — geralmente primeiro em um ambiente de teste ou homologação.
Categoria: Engenharia de Dados
Engenharia de Dados Não é Engenharia de Software – Parte 1
Este post (dividido em duas partes) tem como objetivo destacar alguns dos desafios exclusivos da engenharia de dados e por que isso requer uma abordagem personalizada.
Contratos de Dados – Tudo o Que Você Precisa Saber
Apesar do nome intimidador, os contratos de dados não são tão complicados quanto parecem à primeira vista. E eles podem ser incrivelmente úteis para melhorar a responsabilidade em todos os ativos de dados.
Terraform Para Automação em Projetos de Engenharia de Dados
Terraform é uma ferramenta de código aberto criada pela HashiCorp que permite definir a infraestrutura como código usando uma linguagem simples e declarativa e implantar e gerenciar essa infraestrutura em uma variedade de provedores de nuvem pública e plataformas de nuvem privada e virtualização usando alguns comandos.
O Que é Infraestrutura como Código (IaC)?
Infraestrutura como código (IaC) é o gerenciamento e provisionamento de infraestrutura por meio de código em vez de processos manuais. E vem crescendo em popularidade.